Skip to content

Using OpenAI API (GPT) and Azure Speech Studio (Speech2Text and Text2Speech) for speech recognition, you can enjoy conversations with 3D(.vrm) characters.

License

Notifications You must be signed in to change notification settings

MITSUHIRO-KURIKI/OpenAIVRMCharacterChat

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

24 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

OpenAIVRMCharacterChat

上記サンプルイメージでは、フリー素材キャラクター「つくよみちゃん」 (© Rei Yumesaki)を使用しています。

What is this?

OpenAI APIと音声認識にAzure Speech Studioを利用したVRMとの会話アプリを学習として作成しました

設置

1. backend > .env ファイルへの各種クラウドサービス情報の記載
backend > .env file: Configure various cloud services

AZURE_SPEECH_SERVICE の設定 (VRMでの音声会話に使用)
Azure Speech Service settings (used for voice conversations in VRM)
AZURE_SPEECH_SERVICES_SUBSCRIPTION_KEY='*** YOUR AZURE_SPEECH_SERVICES_SUBSCRIPTION_KEY ***'  
AZURE_SPEECH_SERVICES_REGION='*** YOUR AZURE_SPEECH_SERVICES_REGION ***'
OpenAI API KEYの設定 (GPT系統のモデル利用時に使用)
OpenAI API KEY settings (used when utilizing GPT-based models)
OPENAI_API_KEY='*** YOUR OPENAI_API_KEY ***'

2. frontend > public > services > vrmchat > vrm へダウンロードした3Dモデル(.vrm)を格納します
frontend > public > services > vrmchat > vrm: Place the downloaded 3D model (.vrm)

3Dモデル(.vrm)はお好きなものをおいてください。モデルサイズ等に応じて、 frontend > providers > VrmCoreProvider > VrmCoreProvider.tsx のカメラ位置等を修正ください。
You can place any 3D model you like. Depending on the model size, adjust the camera position, etc. in frontend > providers > VrmCoreProvider > VrmCoreProvider.tsx.

サンプルイメージに使用したのはつくよみちゃん公式3Dモデル タイプA「①通常版(VRM)」です。
The sample image used is the official "Tsukuyomi-chan" 3D model Type A "① Normal version (VRM).”

実行 run

Note

DefaultAdminユーザー (以下でログインできます)
DefaultAdmin user (you can log in with the following credentials)
Email: admin★admin.com (★→@)
Password: defaultPwd123

$ docker-compose up -d --build

-> ☕
-> http://localhost:3000/

  • 開発時
    development
$ docker-compose -f docker-compose.dev.yml up -d --build

主な実行環境

執筆前

Other

本アプリケーションで使われる各種ライブラリのライセンスは改変したものを含めて本ライセンスには含まれません。各種ライブラリの原ライセンスに従って利用してください。
Licenses for the various libraries used in the application are not included in the license. Please use them in accordance with the license of each library.

suppl.

執筆前

About

Using OpenAI API (GPT) and Azure Speech Studio (Speech2Text and Text2Speech) for speech recognition, you can enjoy conversations with 3D(.vrm) characters.

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published