研究背景与挑战 - 学术展示视频制作高度依赖人工，通常需要数小时才能产出几分钟的视频，效率低下且成本高昂[4] - 学术展示视频生成面临三大独特挑战：来源于完整学术论文的长文档与高密度输入、需要同时生成并对齐多个模态通道、缺乏专门针对知识传递和学术可用性的评价标准[4] - 现有自然视频生成模型和简单的幻灯片加语音拼接方法难以胜任学术视频生成任务[4] Paper2Video评价基准 - 基准收集了来自近三年顶会的101篇论文及其作者录制的展示视频，涵盖机器学习、计算机视觉与自然语言处理领域[10] - 每个样例包含论文LaTeX工程、幻灯片、展示视频、讲者肖像与语音样本，论文平均13.3K字、44.7幅图表，展示视频平均16页幻灯片、时长6分钟[10] - 基准提出了四个评价指标：Meta Similarity衡量类人相似度，PresentArena评估类人一致性，PresentQuiz测试信息传递性，IP Memory反映学术影响力[7][13][16] PaperTalker多智能体框架 - PaperTalker是首个支持学术展示视频生成的多智能体框架，以研究论文、讲者图像与语音样本为输入，自动生成包含幻灯片、字幕、语音、光标轨迹和讲者视频的完整展示视频[17] - 框架由四个关键模块组成：Slide Builder基于论文内容生成LaTeX Beamer幻灯片，Subtitle Builder生成逐句字幕，Cursor Builder实现光标时空对齐，Talker Builder合成个性化讲者视频[18][23] - 框架通过模块化的多智能体协作，实现了可控、个性化、学术风格化的展示视频生成[18] 技术创新与优化 - 提出Tree Search Visual Choice布局优化机制，将低效的多轮参数搜索转化为高效的单轮视觉判别，实现图像尺寸与布局的自动优化[21][24] - 引入UI-Grounding和WhisperX模型实现光标在时间和空间上的精准对齐，通过提供显式空间线索帮助观众定位关键信息[23][25] - 采用并行化的talking-head生成机制，将讲者生成过程划分为独立的幻灯片片段并行执行，实验证明实现了超过6倍的加速[26] 性能评估结果 - 在Meta Similarity指标上，PaperTalker在幻灯片、字幕和语音的相似度上均取得最高分，与人类作品最为接近[29][31] - 在PresentArena观感质量对比中，PaperTalker获得最高胜率，完整版本比去掉讲者和光标的变体更受偏好[31] - 在PresentQuiz知识传递测试中，PaperTalker的问答准确率达到17.0%，显著优于其他基线方法[29][31] - 在IP Memory学术记忆度方面，PaperTalker达到50.0%的表现，引入讲者视频显著提升了记忆效果[29][31][41] 效率与成本优势 - PaperTalker在生成成本上最低，仅为0.001美元，总耗时48.1分钟，相比非并行版本实现6倍加速[34][35] - 效率优势主要来自三个方面：基于Beamer的幻灯片生成减少token消耗、轻量化的tree search visual choice后处理、并行的talking-head生成机制[35] - PaperTalker仅消耗62K token，显著低于PresentAgent的241K token，同时时间成本也大幅降低[34]