大模型实验方法论 - 选准关键指标指导迭代方向，避免盲目追求表面指标而忽略真正区分SoTA能力的核心指标[1][4] - 识别实验真瓶颈，通过文献阅读和同行讨论排除低效调参，聚焦验证强假设而非网格搜索[1][5] - 平衡大小实验组合：大实验（10B-100B规模）用于发现问题，小实验快速筛选有效想法[1][6] 实验设计与效率优化 - 定性实验需揭示新现象（如长链思维o1/R1的应用突破），而非仅追求定量指标提升[4] - 自动化评测工具可提升效率，公司内部采用多榜单自动测试机制以发现潜在问题[4] - 避免低性价比实验，超参数微调或数据配比研究对大规模模型效果有限[5] 团队协作与资源整合 - 明确团队比较优势分工：卡资源充足者可主导大规模验证，资源有限者聚焦前期idea验证[8] - 通过高频交流与实验记录共享提升协作效率，优化资源分配（如卡调度）[8] - 大模型研发需跨角色协作，需结合社区定位调整团队研究方向[8] 行业技术动态 - 自动驾驶领域技术覆盖30+方向（BEV感知、多传感器融合、轨迹预测等），社区规模达4000+成员[9] - 前沿技术布局包括端到端自动驾驶、世界模型、大模型应用等，产学研结合紧密[9][11]