技术突破 - 美国哥伦比亚大学科学家设计出一种新型框架，使人形机器人面部能够根据音频生成逼真的唇部动作，实现与人类语音的同步[1] - 该技术展示了较强的泛化能力，可推广至包括法语、汉语和阿拉伯语在内的多种语言，即使这些语言并未出现在训练数据中[1] - 研究团队在2024年曾发表研究，描述了一种人形机器人面部可以预测人类的微笑并同时再现该表情[3] 技术细节与实现 - 为精细化唇部与声音的匹配，团队设计了一套学习流程：首先采集机器人唇部运动的视觉数据训练模型并生成运动参考点，随后通过“面部动作转换器”模块产生运动指令，使唇部能够流畅配合不同词语[3] - 团队专门研制了一种人形机器人面部结构，采用柔软硅胶皮肤，配合磁性连接器，具备10个自由度，可驱动复杂的唇部运动[3] - 其唇部结构能形成覆盖24个辅音和16个元音的各种口型[3] 验证与性能 - 在验证过程中，团队借助ChatGPT生成测试语句，并合成了具有理想唇部动作的视频作为对比基准[3] - 结果表明，该方法在5种比较方案中表现最优，其生成的唇部动作与理想视频差异最小[3] - 该框架还能为11种不同语音结构的非英语语言生成自然的唇部同步效果[3] 行业意义与应用前景 - 这一进展是朝着构建不仅能执行功能，还能进行人性化交流的机器人迈出的重要一步[1] - 研究团队推测，这类人形机器人在教育、老年护理等领域具有应用潜力[4] - 现在，AI让虚拟人物动嘴说话已经“不在话下”，然而让机器人做到这点还相当困难，大多数机器人“说话”时并不动嘴，即使动嘴也只是象征性一张一合[4]