多语言模型研究 - 提出"字节溢价"概念，揭示不同语言在相同字节数下有效信息密度的显著差异，影响模型输入效率 [15][16] - 训练参数量1亿的"Goldfish"小型语言模型系列，覆盖350种语言，部分性能超越参数量80倍的Llama-8B [3][27][28] - 多语言模型面临"多语言诅咒"，模型容量受限导致加入新语言可能降低目标语言性能 [24][25] 模型训练策略 - 建议为特定语言开发专门化小模型而非追求单一大型多语言模型 [25][27] - 低资源语言可通过多语言训练实现知识迁移，尤其从相似语言迁移效果更佳 [27] - 小模型降低研究门槛，在笔记本电脑上两小时完成实验流程，适合资源有限场景 [30] 数据与评估体系 - 当前最大障碍是缺乏有效多语言评估基准，需开发具文化敏感性的高质量评估体系 [7][21] - 避免使用机器翻译生成基准测试，防止引入噪音影响评估准确性 [22] - 需要组建多语言多文化背景专家团队构建评估体系，理解文化语境差异 [22][23] 行业发展现状 - 多语言模型研究仍处"上半场"，许多语言数据量不及1970年代英语水平 [33][34] - 欧洲开源生态倾向公共资源共享模式，如EuroHPC超级计算中心统一分配资源 [43] - 开放科学是基础，需掌握完整技术栈包括训练代码和数据才能获取有效知识 [37] 技术发展方向 - 未来AI需走向多模态，结合语言与视觉等多方面能力 [39] - 语言在人类心智发展中起独特作用，塑造思维方式实现复杂观念构建 [40] - 需平衡开放数据与负责任AI，构建符合伦理要求且可持续的数据集 [38]