论文生产发表流程 - 深度学习论文生产流程包括从想法到实验扩充、撰写修改、投稿审稿、反驳修改等环节，通常需要经历多次打磨和修改[3] - 论文投稿后若未因格式等问题被直接拒绝，将进入审稿阶段，由三位审稿人给出意见反馈，作者需撰写一页反驳并等待最终结果[4] - 论文录用率通常在六分之一到四分之一之间，大多数论文会经历多次投稿和修改过程，形成所谓的"斐波那契投稿法"[4][5] 写好论文的意义 - 论文是传达思想的载体，帮助作者严格完成工作并明确创新点，同时为后人提供改进基础[7] - 高质量论文具有长期影响力，可能成为学者科研成就的代表作，而低质量论文可能误导他人或成为黑历史[7] - Simon Jones推荐通过写论文来监督研究进程，在写作过程中发现问题并补充实验[7] 创新点和论文核心 - 创新性(novelty)是论文关键，可表现为新问题、新发现或颠覆理论，MXNet作者李沐提出创新性=影响范围×有效性×新颖性[10] - 衡量创新性常见错误包括：认为复杂即创新、混淆前人工作、说不清创新点等[10] - 论文应明确核心想法并不断打磨，避免"从多个方面改进算法"等模糊表述，理想状态是"一条巨龙，一招制敌"[11] 论文的写作要点 - 深度学习论文常用"八股文"结构，同一故事在摘要、介绍和正文中分层次讲述三遍[13] - 标题和摘要最关键，影响检索和审稿人匹配，流行做法是为方法起好记名字如ShuffleNet、Transformer等[13][14] - 好论文标准：问题重要新颖、思路有理有据、实验超越前人、消融实验扎实；差论文则呈现混乱、拼凑或选择性展示结果[15] - 写作技巧包括：用图表串联故事、优化详略分布、先求严谨再求美观、统一符号定义等[16] 投稿经验与审稿意见 - 作者存在知识盲区，需通过他人反馈修正错误认知，写作时要考虑不同读者群体[18][19] - RIFE论文经历五次投稿，前四次分别因基准错误、动机不明、亮点不突出被拒，最终通过调整内容结构获得录用[20] - CoNR论文因跨领域问题遭遇多样化审稿意见，通过裁剪内容和凝练创新点改进；DMVFN论文因突出优势一次投稿即中并被选为CVPR亮点论文(占接收论文10%)[21] - 常见负面审稿意见包括：缺少重要参考文献、结果不可信、不尊重前人工作、创新性差、呈现质量差、路线分歧等[22][24]

多模态大模型发展现状 - 阶跃星辰发布中国首个千亿参数原生多模态大模型Step-1V 基于业内最早的图文生成理解一体化框架DreamLLM [3] - 多模态领域预计未来2-3年将迎来两个GPT-4时刻：多模态推理和自主学习 [3] - 当前多模态生成理解一体化面临四大挑战：语言对视觉控制能力弱 图文对齐不精确 数据质量有限 生成模块无法反向影响理解模块 [3] 计算机视觉领域瓶颈 - CV领域长期缺乏类似NLP的GPT时刻 主要受限于数据标注依赖和自监督方法局限性 [13][15] - 对比学习和MIM等方法在小模型有效 但缺乏scale up特性 因其学习的不变性来自人工设计而非数据驱动 [16][18][19] - 静态图像数据存在本质缺陷：生成 理解与人类对齐三者割裂 难以实现智能质变 [24][25][26] 多模态技术突破方向 - 短期解决方案是利用图文对齐数据 通过文字的自闭环特性赋予模型智能能力 [27] - 长期需探索视频和具身系统 视频数据蕴含更丰富信息但利用难度更高 [27] - 生成理解一体化需先解决视觉空间CoT问题 当前action space过于受限 [55][56] 大模型训练范式演进 - Next Token Prediction存在本质缺陷：更大模型在数学等推理任务上表现反降 因倾向跳步且优化目标与任务目标存在gap [38][40][42] - Rule-based RL通过直接优化任务目标 可抑制跳步并强化稳定思维路径 [44] - o1范式突破在于激发Meta CoT 允许模型在关键节点反悔重试 使推理从单线变为图状结构 [44][53] 多模态数据影响 - 图文混排训练中生成模块产生的gradient噪声大且信息量低 可能破坏语义理解 [62] - 高质量多模态数据应确保图文强相关 避免无关数据导致模型confuse [63][64] - 视频数据蕴含丰富思维过程但清洗难度大 是扩展action space的重要方向 [65][66] 未来技术趋势 - 多模态GPT时刻预计1年内到来 需解决生成可控性和视觉空间推理问题 [68][69] - 当前long context方案存在注意力涣散问题 未来可能采用multi-agent分层记忆架构 [69][73][74] - 模型自主学习是ASI关键路径 需解决环境scaling和自然语言反馈利用问题 [78][80][82]