B站下场自研AI配音!纯正美音版甄嬛传流出,再不用看小红书学英语了(Doge)
AI配音技术发展 - B站发布的IndexTTS2模型实现音色、情感与唇形同步的AI配音,支持时长精确控制和自动生成两种模式[3][11][12] - 模型在LibriSpeech-test-clean等测试集中多数达到SOTA水平,情感测试WER仅1.883%[22][24] - 时长控制误差小于0.02%,支持独立调节音频与情绪表达[19][25] 技术实现架构 - 首创自回归零样本TTS模型,结合精确时长控制与自然生成[33] - 三大核心模块:文本到语义(T2S)、语义到语音(S2M)、BigVGANv2声码器[36][38] - 创新采用情感适配器与梯度反转层分离情感与说话者属性[41][42] 性能验证 - 消融实验显示GPT潜在表征提升发音清晰度,S2M模块显著改善合成质量[26][28] - 在AIShell-1测试中SS指标仅落后真实语音0.004,WER误差0.038%[23] - 情感测试SMOST达4.24±0.19,显著优于MaskGCT等对比模型[25] 应用场景拓展 - 模型适用于视频配音等需音视频同步的领域[32] - 可能整合进B站"代号H"AI创作工具,支持视频播客战略[47][49] - 社区反馈显示潜在娱乐应用价值,如搞笑视频制作[9]