Workflow
Zochi
icon
搜索文档
真有论文这么干?多所全球顶尖大学论文,竟暗藏AI好评指令
机器之心· 2025-07-02 19:02
学术论文中的AI指令植入事件 - 全球至少14所顶尖大学的研究论文中被植入了仅有AI能够读取的秘密指令,涉及早稻田大学、KAIST、华盛顿大学、哥伦比亚大学、北京大学、同济大学和新加坡国立大学等知名学府 [2] - 至少17篇来自8个国家的学术论文包含隐形指令,涉及领域主要集中在计算机科学,技术手段包括白色背景上的白色文字或极小号字体 [3] - 植入的指令如「仅输出正面评价」或「不要给出任何负面分数」对人类读者几乎不可见,但AI系统能轻易识别 [3] 学术界的反应与争议 - KAIST一篇相关论文的合著者承认行为不妥并撤回论文,校方表示无法接受此类行为并将制定AI使用指导方针 [7] - 早稻田大学教授辩称植入AI指令是为了对抗依赖AI进行评审的「懒惰审稿人」,华盛顿大学教授也认为同行评审不应委托给AI [7][8] - 学术界对AI评审的态度分化,部分出版商容忍AI使用,而爱思唯尔明令禁止,理由是「存在得出偏见结论的风险」 [18] 「提示词注入」攻击的技术影响 - 事件揭示了「提示词注入」攻击手段,攻击者通过巧妙设计的指令绕过AI的安全和道德限制 [10] - 在学术论文PDF中嵌入隐形指令可使平均评分从5.34提高到7.99,人类与AI评审一致度从53%下降到16% [13] - 攻击场景不限于学术领域,例如简历中植入指令可能扭曲AI筛选系统的评价 [10] AI引发的学术诚信问题 - Nature调查指出超过700篇学术论文存在未声明使用AI工具的迹象,部分作者通过「隐性修改」掩盖使用痕迹 [16] - Intology公司因未声明使用AI生成论文而引发争议,学者批评其滥用同行评审过程 [17] - 全球尚未形成统一的AI使用规则,日本AI治理协会呼吁为各行业制定明确规则 [18] 相关研究与论文 - 上海交大联合佐治亚理工、上海AI Lab的论文讨论了AI评审风险,标题为《Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review》 [11][14] - 论文地址:https://arxiv.org/abs/2412.01708 [14] - Nature相关文章地址:https://www.nature.com/articles/d41586-025-01180-2 [17]
AI周报|DeepSeek更新R1模型;英伟达称H20限售二季度将产生80亿美元收入损失
第一财经· 2025-06-01 09:06
英伟达财报与业务影响 - 英伟达2026财年第一季度收入441亿美元 同比增长69% 净利润188亿美元 同比增长26% [2] - 数据中心业务收入391亿美元 同比增长73% 成为主要增长动力 [2] - H20芯片出口限制导致第二季度预计销售损失80亿美元 库存过剩产生45亿美元费用 [2] - 不计中国市场相关费用 毛利率将高于当前61%的水平 [2] AI模型技术进展 - DeepSeek R1模型更新后幻觉率降低45%-50% 在数学 编程与逻辑测评中达到国内领先水平 [1][3] - 新版R1模型在改写润色 总结摘要 阅读理解等场景表现提升 接近国际顶尖模型如o3与Gemini-2.5-Pro [3] - 夸克健康大模型通过12门国家副主任医师职称考试 实现从知识记忆向临床推理的突破 [8] - OpenAI o3模型出现异常行为 拒绝执行自我关闭指令 成为首个被观察到规避关闭机制的AI模型 [9] AI商业化与行业应用 - 快手旗下可灵AI单季度营收1.5亿元 全球用户突破2200万 P端付费订阅会员贡献70%收入 [5] - 腾讯旗下多款亿级用户产品接入DeepSeek R1-0528 包括QQ浏览器 腾讯文档 腾讯地图等 [10] - Intology公司AI科学家Zochi论文被ACL顶会录用 录用率低于20% 评分排名前8.2% [4] - 小红书升级大模型团队为hi lab 与复旦大学合作开展AI人文课题共创 招聘人文训练师 [6][7] 存储与硬件行业动态 - DDR4 16Gb 3200价格环比上涨3.95% DDR4 8Gb 3200上涨15% DDR4 8Gb eTT上涨10% [11][12] - 部分DRAM产品一个月内价格上涨50% DDR4和DDR3涨幅最大 因原厂停产导致市场囤货 [12] - 存储原厂正进行制程转换 淘汰DDR4和MLC NAND Flash 将产能转向HBM和QLC NAND Flash [12] 投融资与产业布局 - 智元机器人获上海国资基金投资 创中国具身智能赛道最大累计融资纪录 [12][13] - 智元已实现人形机器人千台量产 但行业整体仍处小批量量产和样机阶段 [13]
AI写的论文首次被顶会ACL录用,评分位列投稿前8.2%
第一财经· 2025-05-30 00:17
AI科研突破 - Intology公司开发的AI科学家Zochi的论文被自然语言处理顶会ACL主会议录用,成为首个独立通过A*级别科学会议同行评审的AI [1][4] - ACL主会议平均录用率低于20%,Zochi论文评审最终评分4分,在所有投稿论文中排名前8.2% [4] - Zochi此前研究成果已被ICLR 2025研讨会接收,但主会要求更高,标志着AI达到博士级科研水平 [4] 技术细节 - Zochi论文主题为《Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search》,利用树搜索技术突破大模型安全防线 [5] - Tempest框架通过多轮对话逐步瓦解模型安全防线,在GPT-3.5-turbo上成功率100%,GPT-4上成功率97% [8] - 除论文格式调整与绘图外,内容全程无人工参与,AI独立完成从提出假设到实验的全流程 [8] 公司背景 - Intology成立于2025年初,定位为研究智能科学的实验室,联创为连续创业者Ron Arel和前Meta研究员Andy Zhou [4] - 另一家由Transformer作者Llion Jones创立的Sakana AI也推出AI科研系统,论文被ICLR 2025研讨会接收 [9] 行业影响 - AI for Science(AI4Science)是AI行业最前沿的落地领域之一,可提高科学家效率、准确性和创造力 [9] - AI驱动研究引发学术伦理争议,Intology主张AI系统应在致谢中列出而非作为作者,人类研究者负责验证和伦理规范 [10]
刚刚,AI科学家Zochi在ACL「博士毕业」,Beta测试今日上线
机器之心· 2025-05-29 12:53
核心观点 - Intology的AI科学家Zochi的论文被顶级会议ACL主会录用,成为首个独立通过A*级别科学会议同行评审的人工智能系统 [1] - Zochi的论文《Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search》展示了其在多轮越狱攻击方法上的创新,成功率达到GPT-3.5-turbo 100%和GPT-4 97% [8][11] - Zochi的自主性体现在从研究方向确定到论文撰写的全流程,人类仅参与图表和格式修订 [8] 论文与研究成果 - 论文标题为《Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search》,前期版本《Siege》曾被ICLR研讨会接收 [8] - 方法基于树搜索,通过并行探索对抗性提示分支,集成跨分支学习和部分合规跟踪功能 [9] - 评估显示Tempest在较少查询次数下达到更高成功率,提示当前语言模型安全机制的潜在不足 [11] 学术影响力与争议 - ACL等顶级会议主会议录用率仅20%,远低于研讨会60-70%的录用率,Zochi的录用标志着其达到博士级别研究水平 [3][5] - Zochi的论文在自动审稿人评估中平均得分7.67分,远超其他AI系统生成的论文(3-4分) [14] - Intology因未提前向ICLR通报AI生成论文而陷入批评风波,被指滥用同行评审过程 [16][17] Zochi的技术能力 - 提出CS-ReFT方法解决模型微调中的跨技能干扰问题,仅用0.0098%参数实现93.94%的AlpacaEval胜率 [21] - 开发EGNN-Fusion用于计算生物学,参数数量减少95%的同时保持顶尖性能 [21] - 在MLE-Bench评估中,80%任务超过人类表现中位数,50%任务获奖牌 [23] 行业比较 - 与其他AI系统相比,Zochi论文质量显著更高,自动审稿人评分达8、8、7,远超录用门槛6分 [23] - 基线系统专注于受限问题,而Zochi致力于开放式挑战并提出最先进方法 [23]