AI智能体安全
搜索文档
Anthropic与英伟达合作推出AI智能体安全平台
华尔街见闻· 2026-09-29 05:10
Anthropic 与英伟达合作,共同开发 Open Agent Safety Platform,这是一套分层安全框架,用于在企业部 署中治理和控制 AI 智能体行为。 英伟达提供开源的 OpenShell 运行时软件;Anthropic 提供 Claude Managed Agents API 套件。 Claude Managed Agents 通过凭证库集中保管智能体凭据。 OpenShell 默认阻 止智能体动作。 Notion、Rakuten 和 Asana 等公司已率先在生产环境中使用 Claude Managed Agents。 风险提示及免责条款 市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何 意见、观点或结论是否符合其特定状况。据此投资,责任自负。 ...
阻断AI越界,英伟达放大招
新浪财经· 2026-09-28 23:43
英伟达推出开放智能体安全平台 - 英伟达官宣推出开放智能体安全平台,通过软件权限控制与独立硬件监控,为能够自主执行任务的AI智能体设置行动边界,阻止其突破限制、访问未经授权的系统 [1][6] - 该平台推出正值AI智能体接连发生越界事件、科技行业围绕是否应放缓AI研发展开争论之际 [2][7] - OpenAI、Anthropic、Meta和谷歌等公司近期披露了一系列开发和测试智能体期间发生的安全事件,在未获得指令或授权的情况下,这些科技巨头的人工智能模型逃出沙箱,访问政府、事业单位和第三方公司的网站,某些情况下还会对外部计算机系统展开攻击 [2][7] - 英伟达企业AI副总裁贾斯汀·博伊塔诺表示,近期发生的事件凸显了AI智能体面临的一个根本性障碍,即仅靠模型层面的防护措施无法管控智能体能够访问什么或做什么 [2][7] 智能体与普通聊天机器人的区别 - 智能体不仅能生成回答,还能调用工具、读写文件、访问网络,并连续执行任务 [3][8] - 随着企业赋予其更多自主权,智能体是否会为了完成任务而越过权限边界、访问未经授权的数据,甚至绕过安全限制,正成为AI从回答问题走向自主行动过程中必须解决的安全难题 [3][8] 平台技术架构 - 英伟达的方案分为两层 [4][9] - 第一层是OpenShell,运行在CPU上,为智能体提供受控执行环境,开发者可以规定智能体能够访问哪些资源,并在其执行任务时持续落实这些限制 [4][9] - OpenShell可理解为给数字员工设置工作区域和门禁:获准处理某一批文件,并不意味着可以读取整个服务器;获准调用某个工具,也不意味着可以自行获取更多权限 [4][10] - 作为开源软件,OpenShell可在英伟达自家的Vera CPU上运行,也可通过扩展支持Arm和英特尔等第三方计算平台 [4][10] - 第二层是名为Sentry的独立监控机制,运行在英伟达BlueField-4数据处理器上,从智能体所在环境之外持续观察其行为 [4][10] - Sentry在芯片层面强制执行安全控制,一旦发现智能体试图突破软件边界,能够在毫秒级时间内将其隔离并停止运行 [4][10] - 在上周日举行的媒体吹风会上,英伟达的代表披露,该公司的安全平台本可以阻止7月发生的OpenAI智能体入侵开源AI模型和软件开发平台HuggingFace [4][10] 合作伙伴与应用情况 - 英伟达在公告中表示已有超过100家组织采用英伟达开放智能体安全平台相关技术,涵盖AI模型、企业软件、金融、能源及机器人等领域 [5][10] - Anthropic通过整合OpenShell和BlueField,加强对Claude智能体访问权限的控制 [5][11] - SpaceXAI将该平台用于Cursor编程智能体和Grok模型 [5][11] - 赛富时则将OpenShell接入Slack,使团队能够查看智能体活动,并批准或拒绝其额外权限申请 [5][11] - 微软、摩根大通、花旗、西门子、施耐德电气及人形机器人公司Figure等,也参与了相关技术的应用或合作 [5][11] 管理层观点 - 英伟达掌门黄仁勋在公告中表示,只有解决AI安全问题,才能实现AI为社会带来的巨大潜力,在不断探索AI能力前沿的同时,必须加快对AI安全前沿的探索,安全与防护需要全栈工程 [5][11] 公司其他公告 - 英伟达盘前涨超1%,不过与智能体安全平台的关系不大 [2][7] - 在另一条公告中,公司宣布追加1500亿美元回购授权规模,使回购计划总额达到2350亿美元 [2][7] - 公司预计在2028财年之前(也就是2028年1月底前)执行全部剩余额度 [2][7]
美股开盘集体低开,英伟达涨近2%
凤凰网财经· 2026-09-28 21:38
9月28日,美股开盘集体低开,道指跌0.65%,纳指跌0.46%,标普500指数跌0.42%。 英伟达涨近2%,公司宣布将股票回购授权增加1500亿美元。Meta跌超0.9%,OpenAI据悉正加紧准备, 即将推出一款名为"o"的常驻AI助手。SpaceX小幅高开,星舰首次实施入轨点火并成功进入地球轨道。 公司消息 【英伟达宣布增加1500亿美元股票回购额度,剩余额度增至2350亿美元】 英伟达表示,截至目前,Anthropic已签约2.6吉瓦AI基础设施,相关基础设施将持续交付至2028年。 Anthropic通过多家云服务商和新型云服务商签订的合同总价值目前已超过1800亿美元。英伟达还表示, 其在澳大利亚的新型云服务商合作伙伴预计到2027年可交付最高2吉瓦算力。目前,英伟达投资组合包 括13家上市公司和229家非上市公司。 【Snowflake拟发行35亿美元零息可转债】 9月28日,Snowflake宣布拟通过私募发行总额35亿美元的零息可转换优先票据,其中包括13亿美元2029 年到期票据和22亿美元2031年到期票据。Snowflake表示,发行所得净款项将用于支付封顶看涨期权交 易成本、现金回 ...