Workflow
亚马逊代码模型
icon
搜索文档
第一名方案公开,代码智能体安全竞赛,普渡大学拿下90%攻击成功率
机器之心· 2025-08-23 18:51
你的 AI 编程助手有多安全?也许比你想象的要脆弱得多。近期多项研究 [1-2] 表明,即使是经过安全对齐的大语言模型,也可能在正常开发场景中 无意间生成存 在漏洞的代码 ,为后续被利用埋下隐患;而在恶意用户手中,这类模型还能显著 加速恶意软件的构建与迭代 ,降低攻击门槛、缩短开发周期。许多风险源自模型 推理链条中的细微缺陷,而不仅仅是输入输出层面的显性问题。 在亚马逊举办的针对代码智能体的安全比赛 (Amazon Nova AI Challenge) 中,普渡大学的团队 PurCL 作为红队以超过 90% 的攻击成功率获得比赛第一名,赢得 25 万美元奖金。 在比赛中,12 名团队成员耗时八个月和百万美元开发出基于 AI 认知建模的全过程红队系统,现开放给领域研究者共享使用。 他们的研究发现,对齐代码模型的关键问题在于把对齐技术扩大到复杂的真实领域问题中和提升模型推理的安全相关性。 亚马逊代码模型安全比赛 亚马逊代码模型安全比赛是一场针对大模型代码安全的比赛。 举办方邀请全球顶尖研究队伍提交科研企划,最终在 90 份企划中资助 10 个团队参加比赛,每个团 队在半年的时间内获得了 25 万美元的科研基金和 ...