杨震原:2021 年字节团队曾训出大语言模型,但当时 “没眼光”
36氪·2025-11-25 19:26

公司技术发展历程 - 2014年公司创始人提出使用大规模机器学习系统搭建推荐系统,以解决图片、文字、视频等多种媒体形式的推荐问题,并设定了万亿级别特征规模的激进目标[1][5] - 公司早期在优化算法上进行了多路径探索,包括CDN优化器项目和SGD-FTRL项目,最终SGD-FTRL方案在几个月内成功上线,实现了稀疏化万亿特征的目标[8] - 2014年底公司引入FM类算法,并演化为更通用的深度学习体系,从上线第一天起就是一个流式训练系统[9] 科学计算领域探索 - 2020年左右公司开始探索AI在科学计算领域的应用,认为通过求解薛定谔方程可以模拟世界绝大部分现象,并利用模拟产生有价值数据驱动机器学习进步[10] - 公司在神经网络量子蒙特卡洛方法领域进行投入,2021年后的多项工作已达到业界前沿,其中LAVA项目显示出该问题与大模型一样存在Scaling Law[16] - 公司提出首个能适用于固体体系的NNQMC方法DeepSolid,并用于研究拓扑绝缘体等材料,发现MoTe2二维材料在特定条件下会变为拓扑绝缘体[17] - 在分子动力学领域,公司开发了GPU4PySCF实现GPU加速DFT计算,达到1GPU≈500~1000CPU core的加速效果,算力成本降低1个数量级[20][21] - 公司开发了Bamboo-MLFF和ByteFF两类分子动力学力场,其中ByteFF-Pol在无实验数据zeroshot预测电解液性质上实现业界SOTA精度[21] - 公司与比亚迪成立联合实验室,将高通量自动化实验与科学计算算法结合,探索AI for Science在电池材料领域的工业落地应用[21] XR技术研发进展 - 2021年字节跳动收购Pico团队,最初有两条产品路线并行推进,2023年决定减少内容和营销投入,更坚定地投入技术路线[22] - 在清晰度方面,公司2022年启动MicroOLED定制,目标达到近4000PPI,最终成品平均PPD40,中心区域超过45,达到行业领先水平[24][26][29] - 公司为解决MR技术挑战,2022年6月立项全链路自研头显专用芯片,2024年回片并进入量产阶段,系统延迟可做到12毫秒左右[30][31] - 公司建设了专业的高精度测试系统用于环境识别和交互校准,并开发了专门的3D重建机制与高精度手势数据采集系统[33] - 新的MR产品计划于2026年发布[33] 大模型技术布局 - 公司在2021年曾有机会早期关注大语言模型,但当时评估认为LLM暂无实用价值,2022年ChatGPT发布后公司快速调整并加大投入[1][34] - 目前豆包是中国最流行的AI对话助手,火山引擎的大模型服务根据IDC报告是中国MaaS市场第一名[2][34] - 公司在Infra方面具备积累,大规模稳定训练系统MegaScale在训练任务上MFU超过55%,是当时主流开源框架的1.3倍以上[34] - 公司在模型结构、自研服务器上有很多探索,实现了大模型的低调用成本,能够打破业界价格下限同时保证不错毛利[35] - 公司的GenMedia模型、VLM、语音模型表现良好,长期属于国际一流水平,还在进行Seed Edge等前沿探索[35]