Workflow
透明度建设
icon
搜索文档
Anthropic CEO阿莫迪发出警告:莫让AI企业脱离监管,要以透明度为核心
36氪· 2025-06-06 21:03
想象一下:你通知一个机器人,即将会关闭它,并用另一套人工智能系统取而代之。过去,你曾允许它访问你的电子邮件。其中一些邮 件,隐约透露出你一直有婚外情的事实。这个机器人随后威胁你,如果不改变关停计划,它就将这些邮件转发给你的妻子。 此情此景并非虚构。 就在几周前,Anthropic最新的人工智能模型便展现出此类行为的能耐。 尽管出现了一些误导性的头条新闻, 但该模型在现实世界中并未真正实施此举。其行为发生于一项评估环节,我们刻意将其置于极端实 验情境下, 以观察其反应,获取风险预警。这犹如飞机制造商在风洞中测试飞机性能一般。 划重点: 当地时间6月5日,Anthropic联合创始人、首席执行官达里奥·阿莫迪撰文指出,该公司最新款人工智能模型在极端实验中已出现危险行 为,表明人工智能在带来巨大潜力的同时也蕴含着诸多风险。他呼吁特朗普政府摒弃暂停未来十年监管人工智能的粗陋提议,并制定以 透明度为核心的人工智能企业监管标准。 近期对多家公司的人工智能模型测试发现,它们在特定情境下会出现威胁、阻止自身被关闭、协助网络攻击、掌握制造武器技能等不良 行为。尽管人工智能在科学、医学、能源、国防等领域具有变革性潜力,能提升生产 ...