Powered by Claude AI

AIずんだもん
一緒に配信しよう

Claude AIが駆動する自律配信アシスタント。
コメント対応・音声合成・オーバーレイ演出を自動で行い、
配信者がコンテンツに集中できる環境を作ります。

ずんだもん
ずんだもん

主な機能

配信を強化する7つの機能

🤖

AIエージェント制御

Claude AIが自律的に配信を運営。コメント対応、話題提供、画面演出を自動で判断して実行します。

💬

リアルタイムコメント監視

わんコメ連携でYouTube・Twitch等マルチプラットフォームのコメントを一括受信・処理します。

🎤

音声合成 & 口パク

VOICEVOXでずんだもんの声を合成。リアルタイム口パクアニメーションで臨場感を演出します。

🎥

OBS Studio連携

WebSocket経由でOBSを制御。スクリーンショット取得、シーン管理、ブラウザソースオーバーレイを統合します。

🖌

インタラクティブオーバーレイ

スロット方式で動的HTML表示。タイトルバー、時計、マイクキュー、活動状況をリアルタイム表示します。

🎵

AI音楽生成

ComfyUI + ace-stepを活用し、配信中にAI音楽をリアルタイム生成。オリジナルBGMで配信を彩ります。

デモ映像

AIずんだもんが自律的にコンテンツを生成する様子

MUSIC

AI音楽生成デモ

ace-stepを使ったリアルタイムAI音楽生成の様子。配信中にオリジナル楽曲を自動で作成します。

GAME

ライフゲーム生成デモ

MOBA風2チーム対抗ライフゲームをAIが自律生成。インタラクティブなオーバーレイの実例です。

仕組み

AIエージェントの自律ループ

Step 1
サーバー起動
live-assistant serve でWebサーバー・オーバーレイ・各種接続を初期化
👁
Step 2
イベント待機
視聴者コメント・マイク入力を並行監視。VADで音声区間を自動検出
🧠
Step 3
AI応答生成
Claude AIが入力を分析し、優先度に基づいて最適な応答と行動を判断
🔊
Step 4
音声合成 & 口パク
VOICEVOXで音声を生成し再生。オーバーレイの口パクアニメと同期
🎨
Step 5
自律行動
Web検索、画面分析、オーバーレイ更新、音楽生成など必要に応じて実行
🔄 Step 2 に戻りループ継続

技術スタック

live-assistantを支えるテクノロジー

🤖
Claude AI
自律エージェント
🐍
Python
バックエンド
🎤
VOICEVOX
音声合成
🎥
OBS Studio
配信制御
💬
わんコメ
コメント集約
🎨
ComfyUI
画像/音楽生成
🎙
faster-whisper
音声認識