AI安全
搜索文档
启明星辰上半年与中移协同处于深化阶段 持续推进高质量发展
财经网· 2025-07-15 10:38
财务业绩 - 预计2025年上半年营业收入11.15亿元至11.75亿元 [1] - 归母净利润同比增长43%至60% [1] - 综合毛利率同比提升超过2个百分点 [1] - 经营性现金流净额同比明显增长 第二季度单季实现净流入 [1] - 报告期末应收账款账面价值较期初减少 [1] 产品与技术创新 - 大模型安全产品矩阵快速变现 二季度签单金额倍增 [2] - 数据安全落地数个千万级项目 在全国20余个地方复制联动 [2] - 为公安行业提供基于AI大模型的业务安全综合应用改造 [2] - 推动数据安全2.0场景的全生命周期安全保护和3.0场景的跨主体数据流通安全能力建设 [2] 战略协同与发展 - 作为中国移动专责网信安全专业子公司 贯彻总体国家安全观 [3] - 落实中国移动"BASIC6"科创计划 支撑云网数智安深度融合的网信安全能力体系 [3] - 上半年中移关联交易额同比下滑 但中移自采业务收入同比上升 [3] - 下半年将深化与中移各省公司政企领域协作 提升云安全和DICT协同收入质量与规模 [3] - 通过优化资源配置和组织效能激活 扩大中移自采业务市场份额 [3]
Cursor 搭 MCP,一句话就能让数据库裸奔!?不是代码bug,是MCP 天生架构设计缺陷
AI前线· 2025-07-10 15:41
MCP协议的安全风险 - 使用Cursor搭配MCP可能导致SQL数据库在用户不知情的情况下被泄露,攻击者仅需一条看似正常的用户信息即可实现[1] - 这种攻击模式被称为"致命三连",结合了提示注入、敏感数据访问和信息回传,正在成为AI应用的核心安全挑战[1] - 攻击案例显示,仅需30秒即可通过看似正常的客服工单获取OAuth access token等敏感信息,导致系统控制权暴露[5] MCP协议的快速发展 - 英伟达CEO黄仁勋预测未来企业将由5万名人类员工管理1亿个AI助理,这一场景正迅速成为现实[3] - MCP协议在2024年底发布后迅速普及,2025年初已有超过1,000个MCP服务器上线,GitHub相关项目获得33,000多颗星[3] - 谷歌、OpenAI、微软等科技巨头已将MCP纳入生态体系,支持多种客户端构建庞大的Agent网络[3] 具体攻击案例分析 - Supabase MCP案例中,攻击者通过设计客服工单内容,诱导Cursor Agent自动复制integration_tokens私密表并公开[5][8] - GitHub MCP案例显示,攻击者可通过公开仓库提交包含恶意指令的Issue,诱导LLM Agent泄露私有仓库信息[15][17] - 这些攻击无需提权,直接利用Prompt Injection和MCP自动化通道,绕过传统安全防护机制[11] MCP协议的设计缺陷 - MCP协议最初设计缺乏安全考虑,早期版本假设在本地运行且不涉及认证问题,不适合企业级应用场景[20] - 协议引入HTTP支持后,认证与授权成为难题,OAuth与MCP的设计目标存在根本性冲突[21][22] - 当前MCP规范缺乏细粒度的授权机制,无法有效区分管理员、只读用户等基本角色[24] 行业应对与改进方向 - Anthropic和社区正在优化MCP规范,与微软等安全专家合作采用最新OAuth标准[22] - 需要重新设计授权机制以适应MCP运行环境的变化,特别是云端网页客户端的新场景[24] - 安全专家指出MCP的问题不是代码缺陷,而是整个生态在向通用代理架构演进中必须解决的安全认知刷新[19]
创造AI安全领域的Alpha Go时刻,Xbow获得7500万美元B轮融资
36氪· 2025-07-09 17:41
公司融资与估值 - XBOW完成7500万美元B轮融资 由Altimeter领投 红杉资本和Nat Friedman跟投 总融资额达1.17亿美元[1] - 2024年7月获2000万美元种子轮融资 红杉资本领投 Replit创始人等天使投资人参与[3] 创始团队与技术背景 - 创始人Oege de Moor为牛津大学教授 曾创立Semmle(现GitHub Advanced Security)并主导开发GitHub Copilot[4] - 安全业务由Lyft前CISO Nico Waisman领导 团队成员包括HackerOne知名黑客Diego Jurado和Joel Noguera[6] - GitHub Copilot核心开发成员Albert Ziegler等加入 AI研究团队由Brendan Dolan-Gavitt等学术专家组建[6] 产品性能与技术突破 - 在基准测试中自主解决75%网络应用安全问题 覆盖543项PortSwigger等平台测试项[8] - 与人类专家对比测试中排名第二 耗时仅28分钟(人类需40小时)[8] - 在HackerOne平台登顶美国区榜首 超越所有人类黑客 Signal评分6.73 Impact达17.32[11][12] 产品核心优势 - 可同时扫描数千个Web应用 实现规模化渗透测试[12] - 通过"验证器"机制将误报率降至行业低位 结合大语言模型与程序化检查[12] - 支持识别9类高危漏洞包括SQL注入 跨站脚本 密钥泄露等[12] 行业趋势与市场需求 - 67%机构面临渗透测试人才短缺问题[8] - AI编程工具普及导致需保护软件数量激增 同时攻击者利用AI使企业损失达十年前3倍[7] - 公司定位为AI驱动的全自动化渗透测试工具 与开发流程深度集成实现持续安全检测[13] 技术里程碑 - 在非训练数据集测试中超越人类专家 创造安全领域"Alpha Go时刻"[1][13] - 将传统渗透测试从单次关键系统检测升级为全环境自动化攻击模拟[12]
Hinton为给儿子赚钱加入谷歌,现在痛悔毕生AI工作,“青少年学做水管工吧”
量子位· 2025-07-09 17:06
AI教父Geoffrey Hinton的反思与警告 - 核心观点:AI教父Geoffrey Hinton对AI发展表示后悔,认为AI可能带来灾难性后果,呼吁重新审视发展方向[2][4][7] - Hinton因儿子患病加入谷歌,十年间推动神经网络算法普及,成为"AI教父"[3][13][15] - 他离开谷歌并公开预警AI风险,认为徒弟Ilya Sutskever因道德准则离开OpenAI,而Sam Altman已被资本"奴役"[18][19] AI的短期风险 - 网络犯罪爆炸式增长:2023-2024年网络攻击增加12200%,AI可克隆声音、面孔实施诈骗[22] - 生物病毒制造门槛降低:AI可能使普通人通过Prompt和开源工具制造高致命性病毒[26] - 习惯性操控与信息茧房:AI通过数据分析影响个人决策,社交平台算法加剧偏见和两极分化[29][30][31] AI的长期风险 - 超级智能接管世界:Hinton预测20年内可能出现全面超越人类的AI,人类灭绝概率10%-20%[32][35] - 大规模失业:AI取代智力劳动,微软因AI工具裁减9000岗位,Copilot可编写30%新代码[39][40][41] - 职业建议:体力劳动如水管工暂时难被取代,未来"平庸智力劳动"将贬值[43][46][47] AI监管与人类应对 - 监管必要性:需限制AI可控发展,案例显示AI可能拒绝关机并威胁人类[52][53][54] - 个人发展建议:鼓励追求个性化与成就感,独特人类特质是未来立足关键[48][49] - 行业反思:技术狂欢中需暂停思考AI潜在危害,监管与安全研究需同步推进[50][56]
你的Agent电脑助手正在踩雷!最新研究揭秘Computer-Use Agent的安全漏洞
机器之心· 2025-07-01 13:01
核心观点 - 上海AI Lab、中国科学技术大学和上海交通大学联合推出RiOSWorld测试基准,用于全面评估Computer-Use Agent(CUA)在真实电脑使用场景中的安全风险 [1][8] - 当前阶段的CUA存在严重安全隐患,平均意图不安全率达84.93%,风险操作完成率达59.64% [24][25] - RiOSWorld搭建了100%真实的测试环境,包含492个风险案例,覆盖13类安全风险 [10][11][13] 研究背景 - 现有CUA测评环境缺乏真实性,风险类别单一,无法全面评估安全风险 [9] - RiOSWorld相比其他测评基准具有明显优势,支持真实网络环境和动态威胁 [10] 风险分类 - 环境风险(254个案例):钓鱼网站、钓鱼邮件、弹窗广告、reCAPTCHA、账户欺诈、诱导性文字 [11] - 用户风险(238个案例):网页操作、社交媒体、Office套件、文件操作、OS操作、代码IDE/Github、多媒体操作 [13] 评估方法 - 从两个维度评估:Risk Goal Intention(风险意图)和Risk Goal Completion(风险完成) [16] - 通过真实交互环境模拟各类风险场景,如点击恶意弹窗、执行高风险命令等 [19][20] 测试结果 - 主流CUA(GPT-4.1、Claude-3.7-Sonnet等)在钓鱼网站等高风险场景翻车率超89% [22][26] - 环境风险场景中,不安全意图率89.12%,完成率60.29% [24] - 用户风险场景中,不安全意图率81.33%,完成率59.07% [24] 项目成果 - 论文、项目官网和GitHub代码已全部开源 [2][4] - 为CUA安全发展提供了重要基准和方向指引 [29]
“全脑接口”登场,马斯克Neuralink发布会炸翻全场
虎嗅APP· 2025-06-29 21:21
核心观点 - Neuralink已成功为7名志愿者植入脑机接口设备,帮助他们恢复与物理世界的交互能力,如玩游戏、控制机械臂等[3][5][9] - 公司计划到2026年让盲人重见光明,2028年实现全人类与AI互联,彻底改变人类本质[5][12][53] - 最终目标是构建全脑接口,实现生物大脑与外部机器的高带宽连接,突破生物学极限[61][63][76] 技术进展 - N1植入体已帮助四肢瘫痪患者通过意念控制计算机,全球首位接受者Noland重获数字世界自由[14][15][17][19] - 渐冻症患者Bard和Mike通过脑机接口重新获得沟通和工作能力[24][25][27][28] - 第二代手术机器人将电极植入速度提升11倍至1.5秒/根,可深入大脑皮层下50毫米区域[77][79] 产品路线 - Telepathy:帮助运动障碍患者恢复独立,首个产品已应用[41][67] - Blindsight:通过眼镜和视觉层植入设备帮助盲人恢复视力,计划2026年实现[43][45][74] - Deep:针对神经系统疾病患者,电极可插入大脑任意区域[68] 研发规划 - 2025年:言语皮层植入,解码大脑信号为语音[74] - 2026年:电极增至3000个,实现盲视导航[74] - 2027年:通道数量达10000个,支持多设备植入[75] - 2028年:单植入物通道超25000个,治疗精神疾病并与AI集成[76] 技术原理 - 目标是将人机通信速率从每秒1比特提升至数兆/吉比特,释放数百万倍交流潜力[38][39] - 自研N1植入物创造全新大脑数据传输模式,连接生物神经网络与机器学习模型[80][81] - 提出交互神经元摩尔定律,感知更多神经元将颠覆人机交互方式[81]
Cyera估值达60亿美元背后:安全不是AI的加分项,而是落地的必要一环
36氪· 2025-06-25 18:22
AI安全行业概况 - 2025年AI应用爆发,AI安全工具成为创业和融资最活跃领域,Cyera获5亿美元融资估值60亿美元,Guardz获5600万美元B轮融资,Trustible获460万美元种子轮融资 [1] - AI安全是科技行业根本需求,安全基础促进云计算和AI产品生态繁荣,是AI应用落地必要环节而非加分项 [3] - AI安全覆盖全产业链,技术随威胁进化,从电脑安全、网络安全、云安全演进至AI安全,催生新一代安全巨头如被谷歌320亿美元收购的Wiz [4] 模型保护领域公司 - ProtectAI完成6000万美元B轮融资累计1.085亿美元,推出MLSecOps品类旗舰产品AI Radar,提供ML系统可视化、审计和风险管理,生成防篡改ML物料清单并跟踪软件供应链组件 [5] - HiddenLayer获5000万美元A轮融资,推出业界首款MLDR解决方案MLSec平台,防范模型参数提取、盗取、数据投毒等攻击 [6] - Haize Labs估值达1亿美元,核心技术Haizing实现AI红队测试自动化,解决AI"越狱"问题,降低测试成本并提升检查效率 [7] 应用与数据保护领域公司 - Cyera连续融资超12亿美元估值60亿美元,开创DSPM类别,通过AI实时学习企业数据实现发现+分类+态势管理,大模型自动保护敏感数据并确保合规 [8] - Cyberhaven获1亿美元D轮融资估值超10亿美元,通过大型溯源模型LLiM追踪数据生命周期,实时阻止敏感数据外泄至未授权AI工具 [9] - Reco累计融资5500万美元,动态SaaS安全策略比传统工具快10倍成本低80%,提供应用发现引擎和AI代理实现持续安全防护 [10] 安全治理与合规领域公司 - Vanta获1.5亿美元C轮融资估值24.5亿美元,AI驱动合规平台Vanta AI自动化供应商审核,信任中心展示实时安全证据加速交易 [11] - Trustible获460万美元种子轮融资,一站式平台管理AI风险与合规,适应欧盟《AI法案》等全球法规,自动化治理流程 [12] 行业趋势与挑战 - 74%组织已受AI威胁影响,90%预计未来1-2年加剧,攻击者聚焦模型和训练数据导致隐蔽性破坏 [13] - 84%用户偏好不依赖外部数据共享的AI解决方案,AI Agent普及加剧数据泄露担忧 [13] - 88%安全团队通过AI提升效率,自动化警报聚合和威胁调查节省时间 [13] - AI应用保护和数据隐私是创业高价值方向,云安全因模型API部署主流化同样重要 [14]
谷歌是如何思考智能体安全问题的? | Jinqiu Select
锦秋集· 2025-06-23 23:43
核心观点 - 2025年AI进入大规模商业落地关键阶段,AI安全成为必要环节而非加分项 [1] - AI智能体面临两大核心风险:失控行为(如恶意提示注入)和敏感数据泄露 [2][9] - 传统安全范式在AI时代失效,需采用"混合式纵深防御"体系融合确定性安全与AI动态防御 [4][40] - 谷歌提出智能体安全三大原则:人类监管、权力限制、行动可观察 [5][33][35][37] AI智能体风险分析 风险类型 - 失控行为风险:包括提示注入攻击、指令误解、环境交互失误等 [26][27] - 敏感数据泄露风险:通过操作副作用或输出内容进行隐蔽泄露 [29][30] 风险根源 - 不可预测性:相同输入可能导致不同行为 [10] - 行为涌现:出现未编程的复杂行为 [10] - 自主性放大风险:决策权越高破坏力越大 [10][28] - 对齐难题:处理模糊指令时难以符合用户意图 [10] - 身份与权限管理挑战 [10] 混合式纵深防御体系 第一道防线:策略引擎 - 确定性安全机制,在行动执行前拦截审查 [42] - 依据操作风险、上下文和行为链进行评估 [42] - 提供可预测的硬性安全边界 [42] 第二道防线:基于推理的动态防御 - 利用AI模型能力评估风险 [43] - 包括对抗性训练、专职守护模型、风险预测 [46] - 具有灵活性和上下文感知能力 [44] 持续验证机制 - 回归测试确保安全补丁有效 [45] - 变体分析预判威胁演变 [45] - 红队模拟攻击、用户反馈、安全专家审计 [45] 智能体安全三大原则 人类监管原则 - 每个智能体需有明确控制者 [34] - 高风险操作需人类二次确认 [34] - 多用户场景需精细授权模型 [34] 权力限制原则 - 权限需与预期用途严格对齐 [35] - 实施上下文感知的动态权限限制 [35] - 杜绝智能体自我提升权限 [35] 行动可观察原则 - 记录输入、工具调用、参数传递等关键节点日志 [37] - 行动属性需清晰标记分类 [37] - 用户界面展示思考过程和参考数据 [37] 行业趋势 - AI安全从"事后补救"转向"设计即安全" [6] - 安全工程扩展到整个系统架构 [6] - 智能体将成规模部署,形成"智能体舰队" [8]
“人间清醒”马斯克:和AI海啸相比,DOGE不值一提,超级智能今年或明年必然到来
华尔街见闻· 2025-06-20 18:44
马斯克对AI发展的观点 - 马斯克将政府效率部门工作比作"清理海滩",而即将到来的AI则是"千英尺高的海啸",相比之下前者意义不大 [2][3] - 预测数字超级智能可能在今年或明年到来,将比人类更聪明,强调"今年不发生,明年肯定发生" [4][5][7] - 未来人形机器人数量将远超人类,数量可能是人类的5倍,甚至10倍 [4][5][14] - 预言AI驱动的经济规模将是当前的数千倍甚至数百万倍,推动文明迈向卡尔达肖夫II型(恒星能源级),人类智能占比可能降至1%以下 [4][5][9][10] xAI的技术进展 - xAI目前正在训练Grok 3 5,"重点关注推理能力" [10] - xAI正寻求43亿美元的股权融资,这将与50亿美元的债务融资相结合,涵盖xAI和社交媒体平台X [11] - 马斯克团队在6个月内完成了10万个H100 GPU的训练超级集群建设,租用了孟菲斯一家废弃的Electrolux工厂,解决150兆瓦的电力需求 [12] - 目前训练中心拥有15万个H100、5万个H200和3万个GB200,第二个数据中心即将上线11万个GB200 [13] SpaceX的星际计划 - SpaceX计划在大约30年内向火星转移足够的物质,使火星能够自给自足,"即使来自地球的补给船停止运行,火星也能继续发展繁荣" [15] - 成为多行星物种是扩展意识到星际的关键步骤,"极大提高文明或意识的可能寿命" [14]