Workflow
Scientist AI
icon
搜索文档
图灵奖得主Bengio再创业:启动资金就筹集了3000万美元
量子位· 2025-06-04 15:04
西风 发自 凹非寺 量子位 | 公众号 QbitAI 目前LawZero已通过多家慈善捐赠方筹集到了 3000万美元启动资金 。 具体来说,LawZero要做" 设计 即安 全 (safe-by-design)"的AI系统,要"将安全性置于商业利益之上"。 所要做的AI系统非Agent形态,而可以监督Agent: 它 以理解学习世 界为核心目标, 而非在世界中采取行动 ,通过透明化外部推理,对问题提供可验证的真实答案,"可用于加速科学发现、为 Agent型AI系统提供监督,并深化大家对AI风险及其规避方法的理解"。 Bengio表示,当前AI系统已显现出自我保护和欺骗行为的迹象,随着其能力和自主性的提升,这种趋势只会加速,LawZero是他们针对这些 挑战所给出的建设性回应。 经常有人问我,对AI的未来是乐观还是悲观?我的回答始终是:It doesn't matter (无关紧要) 。 唯一重要的是,我们每个人都能采取行动,推动AI向更好的方向发展。 刚刚,深度学习三巨头之一、图灵奖得主 Yoshua Bengio 官宣再次创业 —— 成立 非营利组织LawZero ,要构建下一代AI系统,而且 明确不做Ag ...
“AI教父”本吉奥宣布开发“科学家AI”系统,防范智能体欺骗人类
快讯· 2025-06-04 12:42
6月3日,著名计算机科学家、AI"教父"约书亚.本吉奥(Yoshua Bengio)宣布发起非营利组织LawZero,致 力于开发"诚信"人工智能系统。该组织计划打造一套AI防护机制,防范试图欺骗人类的AI智能体。本吉 奥将担任LawZero组织的主席。他以约3000万美元启动资金和十几名研究人员为基础,正在开发名 为"科学家AI"(Scientist AI)的系统。该系统将作为安全防护机制,防止AI智能体表现出欺骗或自我保护 的行为,比如试图避免被关闭。"至关重要的是,作为护栏的AI至少要与它试图监管和控制的AI智能体 一样智能。"(智通财经) ...
刚刚,图灵奖得主Yoshua Bengio官宣LawZero:保护人类的快乐和努力
36氪· 2025-06-03 21:00
刚刚,图灵奖得主、深度学习三巨头之一、蒙特利尔大学教授 Yoshua Bengio 官宣了非营利组织 LawZero,希望通过采取与大型科技公司根本不同的方 法,开发一种"设计安全"的人工智能(AI),以发现试图欺骗人类的"流氓"系统。 LawZero 以科幻小说作家 Isaac Asimov 的机器人第三定律命名--"机器人不得伤害人类,也不得因不作为而让人类受到伤害。" LawZero 的最初支持者包括人工智能安全机构"未来生命研究所"、Skype 创始工程师 Jaan Tallinn 和谷歌前首席执行官 Eric Schmidt 创办的研究机构 Schmidt Sciences。 Bengio 将担任 LawZero 的主席。他们在 LawZero 官网写道: 当前的前沿系统已经显示出自我保护和欺骗行为的迹象,随着其能力和代理程度的提高,这种现象只会加速。 我们认为,应将 AI 作为全球公益事业来培养,安全地开发和使用 AI,以实现人类的繁荣。每个 AI 前沿系统的基础都应基于一个核心承诺: 保护人类的快乐和努力(to protect human joy and endeavour)。 由两个主要部分组 ...