以下の3つの機能があります。
- AIキャラとの対話
- AITuber配信
- 外部連携モード
下記の記事に詳細な使用方法を記載しました。
- パッケージインストールします。
npm install- 開発モードでアプリケーションを起動します。
npm run dev- URLを開きます。http://localhost:3000
- AIキャラと会話する機能です。
- このリポジトリの元になっているpixiv/ChatVRMの機能です。
- 各種LLMのAPIキーさえあれば比較的簡単に試すことが可能です。
- 直近の10会話文を記憶として保持します記憶として保持します。（数字は指定できるように更新予定）
- 設定画面で各種LLMのAPIキーを入力します。
- OpenAI
- Anthropic
- Google Gemini
- Groq
- ローカルLLM（APIキーは不要ですが、ローカルAPIサーバーを起動しておく必要があります。）
- Dify Chatbot（APIキーは不要ですが、ローカルAPIサーバーを起動しておく必要があります。）
- 必要に応じてキャラクターの設定プロンプトを編集します。
- 必要に応じてVRMファイルを読み込みます。
- 音声合成エンジンを選択し、必要に応じて声の設定を行います。
- VOICEVOXの場合は複数の選択肢から話者を選ぶことができます。予めVOICEVOXアプリを起動しておく必要があります。
- Koeiromapの場合は、細かく音声を調整することが可能です。APIキーの入力が必要です。
- Google TTSの場合は日本語以外の言語も選択可能です。credential情報が必要です。
- Style-Bert-VITS2は、ローカルAPIサーバーを起動しておく必要があります。
- GSVI TTSは、ローカルAPIサーバーを起動しておく必要があります。
- 入力フォームからキャラクターと会話を開始します。マイク入力も可能。
- Youtubeの配信コメントを取得して発言することが可能です。
- Youtube APIキーが必要です。
- 「#」から始まるコメントは読まれません。（文字列は指定できるように更新予定）
- 設定画面でYoutubeモードをONにします。
- Youtube APIキーとYoutube Live IDを入力します。
- 他の設定は「AIキャラとの対話」と同様に行います。
- Youtubeの配信を開始し、キャラクターがコメントに反応するのを確認します。
- 会話継続モードをONにすると、コメントが無いときにAIが自ら発言することができます。
- WebSocketでサーバーアプリにメッセージを送信して、レスポンスを取得することができます。
- 上記2つと異なり、フロントアプリで完結しないため少し難易度が高いです。
- サーバーアプリを起動し、
ws://127.0.0.1:8000/wsエンドポイントを開きます。 - 設定画面でWebSocketモードをONにします。
- 他の設定は「AIキャラとの対話」と同様に行います。
- サーバーアプリからのメッセージを待ち、キャラクターが反応するのを確認します。
- 私が作成したサーバーアプリのリポジトリで試すことが可能です。tegnike/aituber-server
- 詳しい設定は「美少女と一緒に開発しようぜ！！【Open Interpreter】」を読んでください。
- VRMモデルは
public/AvatarSample_B.vrmのデータを変更してください。名称は変更しないでください。 - 背景画像は
public/bg-c.jpgの画像を変更してください。名称は変更しないでください。
- 一部の設定値は
.envファイルの内容を参照することができます。 - 設定画面で入力した場合は、その値が優先されます。
- ライセンスはpixiv/ChatVRMに準拠します。
- 言語設定は日本語、英語、中国語（繁体字）に対応しています。設定画面で切り替えが可能です。
- 会話履歴は設定画面でリセットすることができます。
- 各種設定項目はブラウザに保存されます。