项目简介

AI Vtuber（项目名为 Luna AI）是 GitHub 上一个高人气的虚拟主播开源项目，由开发者 Ikaros-521 维护，目前已经收获超过 4.3k Star 和 660+ Fork。它的目标非常明确：让任何人都能低成本地搭建一个属于自己的 AI 虚拟形象，这个形象既能 7×24 小时不间断地与直播间观众互动，也可以安静地坐在本地陪你聊天、画画、讲故事。

与传统只能播报预设文案的「皮套人」不同，Luna AI 把对话大脑、虚拟形象、语音合成、平台弹幕、Stable Diffusion 画图整合成了一条完整的流水线。你可以选择 ChatGPT、Claude、ChatGLM、Kimi、千问、文心一言、Gemini、Ollama 本地模型等十余种 LLM 作为「灵魂」，再搭配 Live2D、Vtube Studio、UE5 + Audio2Face、xuniren 等渲染方案给它一副「身体」，最后通过 Edge-TTS、GPT-SoVITS、ChatTTS 等 TTS 引擎赋予它声音。对于想尝试数字人直播、个人 Vtuber 或者 AI 陪伴场景的开发者来说，这是一个非常合适的入门级整合方案。

核心功能与架构

Luna AI 的功能覆盖面极广，但并不是无序堆砌。从整体设计来看，它采用了一个清晰的「输入 → 大脑 → 表达」分层架构，五个核心模块相互解耦，用户可以根据自己的硬件和预算灵活组合。

多模型对话引擎

项目最核心的能力是对大语言模型的广泛适配。无论你是想用云端 API（GPT-4、Claude 3.5、Gemini Pro、文心一言、通义千问、Kimi），还是本地部署 Ollama、ChatGLM、text-generation-webui、koboldcpp，甚至是接入 One-API、Dify、FastGPT、AnythingLLM 这种中转平台，Luna AI 都提供了对应的适配层。这种「不绑定单一供应商」的策略特别友好，因为模型迭代很快，去年最好用的模型今年就可能被超越，而项目始终保持对新模型的快速跟进。

除了纯文本对话，项目还支持 Gemini 和 glm-4v 的图像识别能力，可以截取电脑屏幕画面让 AI 进行实时讲解，例如玩游戏、看视频、读论文等场景都能派上用场。

多平台直播接入

在直播对接方面，Luna AI 已经覆盖了国内外主流的弹幕平台，包括 Bilibili、抖音、快手、微信视频号、拼多多、1688、斗鱼、淘宝、YouTube、Twitch、TikTok 以及让弹幕飞等。这意味着无论你的目标观众在哪个生态，都可以无缝开播。AI 会自动抓取弹幕、礼物信息，根据上下文判断是否需要回复，并以语音 + 表情动作的方式反馈给观众。

多模态虚拟形象

形象层是 Luna AI 的另一大亮点。轻量级方案可以直接对接 Live2D 模型和 Vtube Studio，配合预制的口型同步和动作触发；追求真实感则可以使用 UE5 + Audio2Face、xuniren 数字人、Easy-Wav2Lip、Sadtalker、GeneFace++、MuseTalk、AniTalker 等方案；想要电影级效果还有 metahuman-stream（ernerf、musetalk、wav2lip）和 DH_live 这种实时流式方案可选。

语音合成与变声

声音层面同样给出了海量选项：内置免费好用的 Edge-TTS 适合新手起步；想要定制音色可以使用 GPT-SoVITS、fish-speech、CosyVoice、ChatTTS、F5-TTS 等开源模型；如果预算充足，Azure TTS、elevenlabs、睿声 AI 这类商业服务也直接对接。更有意思的是，项目还支持 so-vits-svc 和 DDSP-SVC 变声，让 AI 可以模仿任何一个人的嗓音，从而打破「一开口就是机器音」的尴尬。

Stable Diffusion 联动

最后是创意环节。Luna AI 内置了与 Stable Diffusion 协同的指令系统，观众在弹幕里输入特定关键词（比如「画一只猫」），AI 就能自动调用 SD 模型生成图片并展示出来。这相当于给直播间增加了一个随叫随到的画师，极大提升了内容的多样性。

整体工作流概览

从架构图可以看出，弹幕/语音输入先经过预处理，再送入 LLM 决策中心，决策结果分流到 TTS、SD 绘图、Live2D 动作三个执行端，最终合成视频流推送到直播平台。整条链路是事件驱动的，任何一个模块都可以单独替换。

快速上手

虽然 Luna AI 功能繁杂，但官方已经尽量把使用门槛压低。下面给出一个最简化的部署流程

项目信息

参考链接

• GitHub 仓库
• 项目主页