Scaling Law(规模定律)

搜索文档
模型训练最重要的依然是 Scaling —— 对话阿里通义千问 Qwen 多语言负责人杨宝嵩 | Open AGI Forum
AI科技大本营· 2025-06-25 14:49
通义千问多语言战略 - 通义千问(Qwen)从项目启动就将国际化作为核心战略,优先考虑多语言数据优化以服务全球用户[2][9] - 模型支持全球119种语言,在Hugging Face平台下载量位居前列,衍生模型数超过10万个[2][6] - 英语社区用户量最大,中文用户仅排第三或第四,体现其国际化影响力[8][9] 多语言技术突破 - 建立覆盖上千细粒度分类的文化标注体系,解决不同语言文化禁忌与安全合规问题[3][13] - 采用"英语内部推理+目标语言输出"的折中方案应对多语言混杂难题,提升小语种稳定性[16] - 通过数据合成与人工审核结合提升低资源语言数据质量,文化对齐投入占研发重要比重[14][16] 模型能力演进方向 - 提出"知识密度"概念,4B参数小模型性能已超越早期70B大模型,反映数据质量优化成效[19][20] - 持续探索Scaling Law延续路径,重点布局合成数据两大方向:创造新知识与提升数据纯度[21][22] - 针对"数据回流"现象采取混合比例控制,保留人类数据多样性避免模型风格趋同[25] 产品生态布局 - 采取大小模型并行策略,4B级小模型适配终端设备部署需求,已应用于车载、穿戴设备场景[26][28] - 与硬件厂商合作开发Mobile-Agent系统,实现视觉操作手机等基础功能,复杂场景仍需技术突破[30][31] - 规划将语音翻译、文字识别等能力深度集成至操作系统,但涉及安全的核心功能保持审慎[32][34] 行业趋势展望 - 多语言技术面临三大挑战:文化多样性对齐、小语种生成流畅度、多模态融合[39][41][43] - 合成数据与跨模态迁移被视为解决小语种数据匮乏的关键路径,需社区共建高质量数据集[42][45] - AI技术替代催生新职业形态,如AI编程师、Prompt工程师等协同型岗位将成就业增长点[37][38]