Early Anthropic hire, former METR COO have found a way to rein in rogue AI agents
TechCrunch·2026-09-15 21:00

公司核心业务与定位 - AIUC是一家专注于AI安全领域的初创公司,由Anthropic早期员工Rune Kvist和前METR首席运营官Rajiv Dattani联合创立,旨在为企业及AI模型和代理构建公司提供安全保障 [2][3] - 公司已获得Cursor、Lovable、Harvey和ElevenLabs等知名AI公司作为客户 [3] 融资情况 - AIUC于周二宣布完成4000万美元的A轮融资,由Ribbit Capital领投,First Harmonic参与跟投 [4] - 公司此前已完成1500万美元的种子轮融资,投资者包括Nat Friedman的NFDG基金、Emergence、Terrain以及Anthropic联合创始人Ben Mann等 [4] - 公司总融资额达到5500万美元 [4] 产品与服务模式 - AIUC借鉴广泛采用的网络安全标准SOC 2,开发了名为AIUC-1的审计标准及配套测试服务,用于验证AI代理的安全性 [5] - 公司构建了第三方审计和认证层,专门针对AI代理进行独立评估 [5] - 测试流程包括约5000项测试场景,涵盖越狱攻击、幻觉和数据泄露等风险,最终生成约100页的详细报告 [7] - AIUC使用AI代理执行测试并用AI分析数据,但最终审计由人工验证完成 [7] 标准制定与行业合作 - AIUC组建了一个约250名安全和风险负责人组成的联盟,这些人是AI代理的实际采购方 [6] - 公司每月与联盟成员会面,收集他们在采购AI代理时的核心关切和评估标准 [6] 行业背景与市场痛点 - 银行、医院、政府和军队等机构拒绝部署AI的原因并非模型不够智能,而是无法向客户保证系统行为边界 [5] - Anthropic CEO Dario Amodei近期呼吁AI行业控制前沿发展速度,指出不良行为事件快速增加 [9] - Amodei提出前沿实验室应使用嵌入式第三方评估机构来观察和验证安全性,并点名METR作为候选机构 [9] 与METR的关联与差异 - Dattani曾在2024至2025年担任METR首席运营官,目前仍担任董事会成员 [8] - METR主要针对前沿实验室进行测试,重点评估代理能否可靠完成任务 [8] - METR是OpenAI用于调查其Hugging Face事件的独立研究机构之一 [8] - AIUC不采用嵌入式模式,而是为企业提供独立评估报告,明确标注代理的安全可信区域和风险区域 [10]

Early Anthropic hire, former METR COO have found a way to rein in rogue AI agents - Reportify