西风 发自 凹非寺 量子位 | 公众号 QbitAI 目前LawZero已通过多家慈善捐赠方筹集到了 3000万美元启动资金 。 具体来说，LawZero要做" 设计 即安 全 （safe-by-design）"的AI系统，要"将安全性置于商业利益之上"。 所要做的AI系统非Agent形态，而可以监督Agent： 它 以理解学习世 界为核心目标， 而非在世界中采取行动 ，通过透明化外部推理，对问题提供可验证的真实答案，"可用于加速科学发现、为 Agent型AI系统提供监督，并深化大家对AI风险及其规避方法的理解"。 Bengio表示，当前AI系统已显现出自我保护和欺骗行为的迹象，随着其能力和自主性的提升，这种趋势只会加速，LawZero是他们针对这些 挑战所给出的建设性回应。 经常有人问我，对AI的未来是乐观还是悲观？我的回答始终是：It doesn't matter （无关紧要） 。 唯一重要的是，我们每个人都能采取行动，推动AI向更好的方向发展。 刚刚，深度学习三巨头之一、图灵奖得主 Yoshua Bengio 官宣再次创业 —— 成立 非营利组织LawZero ，要构建下一代AI系统，而且 明确不做Ag ...

6月3日，著名计算机科学家、AI"教父"约书亚.本吉奥(Yoshua Bengio)宣布发起非营利组织LawZero，致 力于开发"诚信"人工智能系统。该组织计划打造一套AI防护机制，防范试图欺骗人类的AI智能体。本吉 奥将担任LawZero组织的主席。他以约3000万美元启动资金和十几名研究人员为基础，正在开发名 为"科学家AI"(Scientist AI)的系统。该系统将作为安全防护机制，防止AI智能体表现出欺骗或自我保护 的行为，比如试图避免被关闭。"至关重要的是，作为护栏的AI至少要与它试图监管和控制的AI智能体 一样智能。"(智通财经) ...

刚刚，图灵奖得主、深度学习三巨头之一、蒙特利尔大学教授 Yoshua Bengio 官宣了非营利组织 LawZero，希望通过采取与大型科技公司根本不同的方 法，开发一种"设计安全"的人工智能（AI），以发现试图欺骗人类的"流氓"系统。 LawZero 以科幻小说作家 Isaac Asimov 的机器人第三定律命名--"机器人不得伤害人类，也不得因不作为而让人类受到伤害。" LawZero 的最初支持者包括人工智能安全机构"未来生命研究所"、Skype 创始工程师 Jaan Tallinn 和谷歌前首席执行官 Eric Schmidt 创办的研究机构 Schmidt Sciences。 Bengio 将担任 LawZero 的主席。他们在 LawZero 官网写道： 当前的前沿系统已经显示出自我保护和欺骗行为的迹象，随着其能力和代理程度的提高，这种现象只会加速。 我们认为，应将 AI 作为全球公益事业来培养，安全地开发和使用 AI，以实现人类的繁荣。每个 AI 前沿系统的基础都应基于一个核心承诺： 保护人类的快乐和努力（to protect human joy and endeavour）。 由两个主要部分组 ...