Provable inference
搜索文档
Anthropic is working on a system to prove AI models' identity
TechCrunch· 2026-11-04 06:41
文章核心观点 - Anthropic于周二发布博客文章,宣布正在开发一个名为FlashProve的开源系统,用于验证特定输出由哪个AI模型生成 [1] - 该系统旨在提供“可验证推理”,即一种密码学证明(本质上是数学保证),证明给定输出来自特定模型,让用户确认所收到的答案确实来自其认为正在使用的模型 [1] - 系统类似于密码学电子邮件签名,可抵御试图将某一模型伪装成另一模型的冒充者,即使冒充者是构建和运行该模型的实验室本身也不例外 [2] - 研究人员特别指出,该系统可用于防止AI公司秘密替换为更便宜的模型以削减成本,或替换为更昂贵的模型以夸大性能结果 [2] 系统应用场景 - FlashProve可用于验证第三方关于特定任务由先进模型完成的声明 [3] - 研究人员举例:开发者可能声称其软件库已由前沿网络安全模型扫描漏洞,或公司可能声称其商业计划已获得适当模型的批准,用户如何验证这些声明 [3] 技术实现机制 - 系统要求AI实验室发布其每个已发布模型的“指纹”,该指纹后续可与特定输出匹配并进行密码学验证 [3] - 关键在于指纹不会泄露模型权重,即定义模型行为方式的内部数字,Anthropic和OpenAI等闭源模型厂商对此保密 [3] - 这意味着实验室可以在不放弃其最有价值资产的情况下发布指纹,使系统也能适用于商业模型 [3] - 系统设计为轻量级,验证可在本地设备上执行 [3] 开源发布与研究进展 - 作为公告的一部分,研究人员发布了详细的技术规范和系统各组成部分的可运行代码,以开源许可证在GitHub上公开可用 [4] - 该系统研究仍在进行中,目前没有在Anthropic或任何其他实验室部署的计划 [4] - 研究人员在公告文章中解释,该研究文章旨在分享中间进展而非完整的研究议程,分享的明确目标是让其他人查看已完成的工作、采纳并改进 [5]