小红书开源大模型dots.llm1 - 小红书hi lab团队开源首款文本大模型dots.llm1 包括base模型和instruct模型 并公开训练信息如超参数和中间训练checkpoint [2] - dots.llm1采用混合专家模型(MoE)架构 总参数量1420亿 推理时仅激活140亿参数 使用11.2万亿token高质量训练数据 [3] - 模型性能对标阿里Qwen系列 dots.llm1.inst在中英文通用场景、数学、代码、对齐任务上表现亮眼 部分性能与Qwen3-32B相当或更优 [6][7] 技术细节与性能表现 - 训练数据质量显著优于开源TxT360数据 经过两阶段SFT训练得到最终模型 [5] - 优化Grouped GEMM算子 在英伟达H800上前向计算平均提升14% 反向计算平均提升6.68% [5] - 中文任务表现突出 CLUEWSC得分92.6 C-Eval得分92.2 超越DeepSeek-V3等模型 [7] - 在MMLU、DROP等英文基准测试中表现接近主流大模型 代码生成能力与Qwen2.5-72B相当 [8] 公司战略与估值 - 小红书2023年起持续投入大模型研发 近期推出AI搜索应用"点点"和"问一问"功能 [9] - 公司估值从200亿美元跃升至260亿美元 一级市场老股报价达350亿美元 2024年净利润超10亿美元 [9] - 股东包括真格基金、金沙江创投、阿里、腾讯等20余家知名机构 [9] 未来发展方向 - 计划集成更高效架构设计如GQA、MLA和线性注意力 探索更稀疏MoE层提升计算效率 [10] - 将加深对训练数据的理解 探索更接近人类学习效率的方法 [11] - 技术文档显示团队计划贡献更多全模态大模型 可能发力多模态领域 [11]