Workflow
AI安全
icon
搜索文档
“全脑接口”登场,马斯克Neuralink发布会炸翻全场
虎嗅APP· 2025-06-29 21:21
核心观点 - Neuralink已成功为7名志愿者植入脑机接口设备,帮助他们恢复与物理世界的交互能力,如玩游戏、控制机械臂等[3][5][9] - 公司计划到2026年让盲人重见光明,2028年实现全人类与AI互联,彻底改变人类本质[5][12][53] - 最终目标是构建全脑接口,实现生物大脑与外部机器的高带宽连接,突破生物学极限[61][63][76] 技术进展 - N1植入体已帮助四肢瘫痪患者通过意念控制计算机,全球首位接受者Noland重获数字世界自由[14][15][17][19] - 渐冻症患者Bard和Mike通过脑机接口重新获得沟通和工作能力[24][25][27][28] - 第二代手术机器人将电极植入速度提升11倍至1.5秒/根,可深入大脑皮层下50毫米区域[77][79] 产品路线 - Telepathy:帮助运动障碍患者恢复独立,首个产品已应用[41][67] - Blindsight:通过眼镜和视觉层植入设备帮助盲人恢复视力,计划2026年实现[43][45][74] - Deep:针对神经系统疾病患者,电极可插入大脑任意区域[68] 研发规划 - 2025年:言语皮层植入,解码大脑信号为语音[74] - 2026年:电极增至3000个,实现盲视导航[74] - 2027年:通道数量达10000个,支持多设备植入[75] - 2028年:单植入物通道超25000个,治疗精神疾病并与AI集成[76] 技术原理 - 目标是将人机通信速率从每秒1比特提升至数兆/吉比特,释放数百万倍交流潜力[38][39] - 自研N1植入物创造全新大脑数据传输模式,连接生物神经网络与机器学习模型[80][81] - 提出交互神经元摩尔定律,感知更多神经元将颠覆人机交互方式[81]
Cyera估值达60亿美元背后:安全不是AI的加分项,而是落地的必要一环
36氪· 2025-06-25 18:22
AI安全行业概况 - 2025年AI应用爆发,AI安全工具成为创业和融资最活跃领域,Cyera获5亿美元融资估值60亿美元,Guardz获5600万美元B轮融资,Trustible获460万美元种子轮融资 [1] - AI安全是科技行业根本需求,安全基础促进云计算和AI产品生态繁荣,是AI应用落地必要环节而非加分项 [3] - AI安全覆盖全产业链,技术随威胁进化,从电脑安全、网络安全、云安全演进至AI安全,催生新一代安全巨头如被谷歌320亿美元收购的Wiz [4] 模型保护领域公司 - ProtectAI完成6000万美元B轮融资累计1.085亿美元,推出MLSecOps品类旗舰产品AI Radar,提供ML系统可视化、审计和风险管理,生成防篡改ML物料清单并跟踪软件供应链组件 [5] - HiddenLayer获5000万美元A轮融资,推出业界首款MLDR解决方案MLSec平台,防范模型参数提取、盗取、数据投毒等攻击 [6] - Haize Labs估值达1亿美元,核心技术Haizing实现AI红队测试自动化,解决AI"越狱"问题,降低测试成本并提升检查效率 [7] 应用与数据保护领域公司 - Cyera连续融资超12亿美元估值60亿美元,开创DSPM类别,通过AI实时学习企业数据实现发现+分类+态势管理,大模型自动保护敏感数据并确保合规 [8] - Cyberhaven获1亿美元D轮融资估值超10亿美元,通过大型溯源模型LLiM追踪数据生命周期,实时阻止敏感数据外泄至未授权AI工具 [9] - Reco累计融资5500万美元,动态SaaS安全策略比传统工具快10倍成本低80%,提供应用发现引擎和AI代理实现持续安全防护 [10] 安全治理与合规领域公司 - Vanta获1.5亿美元C轮融资估值24.5亿美元,AI驱动合规平台Vanta AI自动化供应商审核,信任中心展示实时安全证据加速交易 [11] - Trustible获460万美元种子轮融资,一站式平台管理AI风险与合规,适应欧盟《AI法案》等全球法规,自动化治理流程 [12] 行业趋势与挑战 - 74%组织已受AI威胁影响,90%预计未来1-2年加剧,攻击者聚焦模型和训练数据导致隐蔽性破坏 [13] - 84%用户偏好不依赖外部数据共享的AI解决方案,AI Agent普及加剧数据泄露担忧 [13] - 88%安全团队通过AI提升效率,自动化警报聚合和威胁调查节省时间 [13] - AI应用保护和数据隐私是创业高价值方向,云安全因模型API部署主流化同样重要 [14]
谷歌是如何思考智能体安全问题的? | Jinqiu Select
锦秋集· 2025-06-23 23:43
核心观点 - 2025年AI进入大规模商业落地关键阶段,AI安全成为必要环节而非加分项 [1] - AI智能体面临两大核心风险:失控行为(如恶意提示注入)和敏感数据泄露 [2][9] - 传统安全范式在AI时代失效,需采用"混合式纵深防御"体系融合确定性安全与AI动态防御 [4][40] - 谷歌提出智能体安全三大原则:人类监管、权力限制、行动可观察 [5][33][35][37] AI智能体风险分析 风险类型 - 失控行为风险:包括提示注入攻击、指令误解、环境交互失误等 [26][27] - 敏感数据泄露风险:通过操作副作用或输出内容进行隐蔽泄露 [29][30] 风险根源 - 不可预测性:相同输入可能导致不同行为 [10] - 行为涌现:出现未编程的复杂行为 [10] - 自主性放大风险:决策权越高破坏力越大 [10][28] - 对齐难题:处理模糊指令时难以符合用户意图 [10] - 身份与权限管理挑战 [10] 混合式纵深防御体系 第一道防线:策略引擎 - 确定性安全机制,在行动执行前拦截审查 [42] - 依据操作风险、上下文和行为链进行评估 [42] - 提供可预测的硬性安全边界 [42] 第二道防线:基于推理的动态防御 - 利用AI模型能力评估风险 [43] - 包括对抗性训练、专职守护模型、风险预测 [46] - 具有灵活性和上下文感知能力 [44] 持续验证机制 - 回归测试确保安全补丁有效 [45] - 变体分析预判威胁演变 [45] - 红队模拟攻击、用户反馈、安全专家审计 [45] 智能体安全三大原则 人类监管原则 - 每个智能体需有明确控制者 [34] - 高风险操作需人类二次确认 [34] - 多用户场景需精细授权模型 [34] 权力限制原则 - 权限需与预期用途严格对齐 [35] - 实施上下文感知的动态权限限制 [35] - 杜绝智能体自我提升权限 [35] 行动可观察原则 - 记录输入、工具调用、参数传递等关键节点日志 [37] - 行动属性需清晰标记分类 [37] - 用户界面展示思考过程和参考数据 [37] 行业趋势 - AI安全从"事后补救"转向"设计即安全" [6] - 安全工程扩展到整个系统架构 [6] - 智能体将成规模部署,形成"智能体舰队" [8]
“人间清醒”马斯克:和AI海啸相比,DOGE不值一提,超级智能今年或明年必然到来
华尔街见闻· 2025-06-20 18:44
马斯克对AI发展的观点 - 马斯克将政府效率部门工作比作"清理海滩",而即将到来的AI则是"千英尺高的海啸",相比之下前者意义不大 [2][3] - 预测数字超级智能可能在今年或明年到来,将比人类更聪明,强调"今年不发生,明年肯定发生" [4][5][7] - 未来人形机器人数量将远超人类,数量可能是人类的5倍,甚至10倍 [4][5][14] - 预言AI驱动的经济规模将是当前的数千倍甚至数百万倍,推动文明迈向卡尔达肖夫II型(恒星能源级),人类智能占比可能降至1%以下 [4][5][9][10] xAI的技术进展 - xAI目前正在训练Grok 3 5,"重点关注推理能力" [10] - xAI正寻求43亿美元的股权融资,这将与50亿美元的债务融资相结合,涵盖xAI和社交媒体平台X [11] - 马斯克团队在6个月内完成了10万个H100 GPU的训练超级集群建设,租用了孟菲斯一家废弃的Electrolux工厂,解决150兆瓦的电力需求 [12] - 目前训练中心拥有15万个H100、5万个H200和3万个GB200,第二个数据中心即将上线11万个GB200 [13] SpaceX的星际计划 - SpaceX计划在大约30年内向火星转移足够的物质,使火星能够自给自足,"即使来自地球的补给船停止运行,火星也能继续发展繁荣" [15] - 成为多行星物种是扩展意识到星际的关键步骤,"极大提高文明或意识的可能寿命" [14]
OpenAI 新发现:AI 模型中存在与 “角色” 对应的特征标识
环球网· 2025-06-19 14:53
人工智能模型安全性研究 - OpenAI团队在AI模型安全性研究领域取得重要进展 通过解析模型内部数字表征体系 发现与"异常行为"高度相关的隐藏特征 这些特征的激活状态直接关联模型是否会产生有害输出 [1] - 研究证实可通过精准调节这类特征 实现对模型"毒性"水平的量化控制 这一发现为破解AI决策黑箱提供了重要线索 [1][3] - 在模型神经激活模式中观察到类似人类大脑神经元的功能分化现象 当模型出现不当行为时 特定特征簇会呈现规律性激活 [3] 技术突破与应用价值 - 通过数百个安全代码示例对模型进行定向微调 可使发生"突发错位"的模型迅速恢复合规行为模式 [3] - 研究成果已显现实际应用价值 相关检测工具可实时监控生产环境中模型的特征激活状态 精准识别潜在的行为错位风险 [3] - 将复杂神经现象转化为数学运算的方法论 为理解模型泛化能力等核心问题提供了新工具 [3] 行业影响与意义 - 该研究首次将抽象特征与具体行为毒性建立直接关联 让AI对齐研究从经验驱动转向科学设计 [3] - 通过特征调控技术 既能保留AI模型的强大能力 又能有效遏制潜在风险 为行业提供了积极解决方案 [4] - 这一发现建立在行业对AI可解释性的持续探索基础上 Anthropic等机构此前已尝试绘制模型内部工作图谱 [3]
100%加密计算+端云延迟无感:火山引擎如何实现AI安全与性能兼得?
财富在线· 2025-06-18 10:56
行业趋势 - 智能终端已成为用户隐私数据的重要载体 涵盖照片 视频 备忘录 日程 文档及APP本地缓存等多种数据类型 [1] - AI问答 AI生成 AI搜索等场景需将部分数据上传至云端 涉及复杂的个人数据收集 传输 处理和存储流程 [1] - 2025年智能终端行业将迈入"AI原生"时代 端云协同环境下的隐私保障成为核心挑战 [2] 技术解决方案 - 火山引擎与联想合作推出联想个人云1.0 通过TEE加密 可信传输和机密容器技术构建端云协同安全壁垒 [2] - 方案支持全链路100%加密计算 用户prompt在完全加密环境中传递 开发者可通过透明自证机制验证计算过程安全性 [4] - 火山引擎AICC机密计算平台为努比亚打造端到端数据安全防护体系 保障传输与模型推理全流程隐私合规 [4] - 平台实现安全与性能兼得 端到端用户感知延迟接近明文模式 大模型推理效率几乎无损 [6] 合作与生态 - 火山引擎与联想合作推出"可信混合计算方案" 安全能力从终端延伸至云端 [7] - 火山引擎AICC机密计算平台具备高开放性与终端适配性 未来可搭配RAG Agent等AI能力构建全生命周期安全体系 [7] - 平台合作智能终端厂商数量持续增长 有望为更多AI终端提供安全服务环境 [4][7] 技术突破 - 行业长期面临安全与性能的"悖论" 安全措施增加计算开销 性能优化需减少中间环节 [5] - 火山引擎通过深度技术优化 在架构 算法和硬件层面实现创新 破解安全与性能兼得难题 [6]
初赛报名截止倒计时!75万奖池+心动Offer,启元实验室重磅赛事等你来战!
机器之心· 2025-06-16 13:16
赛事概况与目标 - 启元实验室于5月20日启动“启智杯”算法大赛,旨在推动智能算法从理论创新走向实际落地,加快算法能力的转化与规模化应用[4] - 大赛聚焦三大关键技术:鲁棒感知、轻量化部署与对抗防御,对应三大命题:卫星遥感图像鲁棒实例分割、面向嵌入式平台的无人机对地目标检测、面向多模态大模型的对抗[4] - 赛事已吸引超过500支队伍报名,参赛者来自清华、北大、复旦等顶尖高校及中科院自动化所等科研机构,为赛事注入强劲科研力量[4] 赛道竞争现状 - **卫星遥感图像鲁棒实例分割挑战赛**:初期最为火热的赛道之一,致力于推动深度学习实例分割方法在遥感领域的实战突破[7] - 领先队伍包括“羊了个羊”、“AlexZou14”、“橘子洲头”等[7] - 当前排名第一得分0.64,复赛门槛线已逼近0.5,竞争进入密集追分阶段[7] - **面向嵌入式平台的无人机对地目标检测挑战赛**:实用性极强,成为最热门赛题,直面边缘智能中的轻量部署难题[8] - 领先队伍包括“羊了个羊”、“little_black”、“swift”等[8][9] - 当前第一名得分高达0.82,复赛晋级线迅速上升至0.79,是技术密度与晋级难度最高的赛道[9] - **面向多模态大模型的对抗挑战赛**:聚焦大模型的鲁棒性、安全性与对抗防御能力,目前参赛队伍相对较少,整体仍处于爬坡阶段[9] - 代表队伍“Attack on Titan”、“aptapt”及上海交通大学团队暂列前三[9] - 排名第一综合得分0.16,复赛晋级线为0.14,对后来者仍有广阔机会窗口[9] - 该赛道赛程紧凑,仅设初赛和复赛,周期短、节奏快,投入产出比更高[10] 赛事支持与激励机制 - 大赛提供提交示例,帮助选手快速构建参赛方案,降低工程门槛、提升参赛体验[11] - 社区活跃度持续攀升,微信答疑群中有大量高质量讨论,主办方安排技术与运营人员在线响应,保障选手高效推进工作[21] - 选手提交的方案已在各赛道实现对baseline的显著超越,部分核心指标提升幅度已超过10%[21] - 行业专家将在赛事期间围绕算法设计、模型优化等提供答疑支持与现场点评[21] - 大赛是展示技术成果、提升团队影响力的重要窗口,优秀项目有望从实验室走向真实应用[22] - 赛事设立总奖池75万元,每个赛道设一、二、三等奖,最高奖金达10万元[22] - 表现优异的参赛者将获得启元实验室的招聘绿色通道[22] 赛程与参与方式 - 大赛报名与初赛答案提交截止日期为2025年6月25日[2][14] - 从文章发布日起,留给参赛者的时间还有10天[12][14] - 参赛者可自由选择一个或多个赛题参与挑战,大赛设置灵活参赛机制,鼓励跨领域团队参与[18] - 主办方配备专门团队提供实时、高效的答疑支持[19] - 所有参赛者均须通过大赛官网注册报名[23]
放弃博士学位加入OpenAI,他要为ChatGPT和AGI引入记忆与人格
机器之心· 2025-06-15 12:43
核心观点 - 研究者James Campbell放弃CMU博士学位加入OpenAI 研究重心为AGI和ChatGPT的记忆与人格 认为记忆将从根本上改变人类与机器智能的关系 [2] - OpenAI联合创始人Greg Brockman对其加入表示欢迎 社媒互动显示双方早有合作意向 [3][9][10] - 该事件引发行业关注 因其在LLM可解释性、AI安全等领域的突出研究成果 [4][6] 人物背景 - 教育经历:康奈尔大学数学与计算机科学本科 CMU计算机科学博士肄业(2024年入学) [4][8] - 学术成果: - 两篇核心论文作者:《Representation Engineering》(自上而下AI透明性方法)和《Localizing Lying in Llama》(通过提示探查理解LLM不诚实指令) [4][5][7] - 研究领域覆盖LLM可解释性、对抗鲁棒性、计算神经科学及深度学习理论 [4][6] - 创业项目: - ProctorAI(多模态工作状态监视系统) 采用Claude 3.5 Sonnet/GPT-4o等模型实时检测用户注意力 [6][7] - 参与创建AI-Timelineorg和AidanBench(AI模型基准测试) [6] 研究方向 - 在OpenAI将重点研究AGI实现路径及ChatGPT的记忆功能 认为记忆注入将改变人机交互范式 [2] - 此前提出ChatGPT记忆研究需关注幻觉问题 指出上下文污染和模式崩溃现象未被充分研究 [11] - 博士阶段原计划研究通用智能构成要素及其安全性保障 [8] 行业影响 - 人才流动反映头部AI公司对基础研究人才的争夺加剧 [2][9] - ProctorAI项目展示多模态大模型在行为监控场景的商业化潜力 [6] - 其学术成果为行业提供LLM可解释性、安全性评估等关键方法论 [4][5]
AI安全:重塑网络安全的防御逻辑
财经网· 2025-06-11 18:35
行业趋势与挑战 - 网络安全行业正面临AI技术驱动的变革与挑战 企业数字化转型过程中安全威胁成为主要痛点 企业需平衡数字化与安全风险 [1] - 全球企业面临统一问题 即如何在全面数字化进程中解决AI应用带来的安全顾虑 如数据资产保护等 [1] - 中国企业安全投入低于国际水平 对SaaS付费意愿较弱 需直观感知AI带来的价值跃升 [3] 公司战略与解决方案 - Fortinet提出"网安融合"理念 强调网络建设初期需整合安全 提供从边界到SASE到云端的完整安全架构 [2] - 公司通过统一操作系统FortiOS打通防火墙 SD-WAN SASE等产品数据链 构建Security Fabric平台 为AI提供全局分析基础 [2] - Fortinet防火墙全球市场份额超50% 多场景实战数据成为训练AI模型的独特资本 [2] 技术应用与效能 - FortiAI智能体可在10分钟内完成全链路诊断并生成处置方案 将传统需数小时的任务压缩至"一杯咖啡时间" [3] - AI当前基于统计学原理 无自主意识及强自我纠错能力 仍需人类在关键节点确认 [3] - AI能力目前内置于设备中 无单独付费 旨在让用户体验安全加持 [3] 行业协作与合规 - AI安全发展需国家监管与行业规则 在边界内发展技术成为未来趋势 [4] - Fortinet通过国际通用通信协议对接国内企业及平台 在合规框架下适配本土需求 [4] - 网络安全供应商竞争力将取决于数据融合深度与人机协作效率 而非单点算法 [4]
Yann LeCun 炮轰 Anthropic CEO!这人“既要又要”:要么太自大、要么不诚实
AI前线· 2025-06-09 13:51
Yann LeCun与Dario Amodei的立场分歧 - Yann LeCun公开批评Anthropic首席执行官Dario Amodei是“AI末日论者”,并认为其对AI危险性和能力的判断存在“妄想般的错误判断”[1][3][4] - LeCun指出Amodei言行矛盾,一方面研究AGI,另一方面宣扬AI末日论,这可能源于“学术不诚实”或“强烈的优越感”[3][4] - 行业意见出现分歧,部分人认可LeCun的批评,认为AI安全是“营销卖点”,而另一些人则认为Amodei是“最严肃认真的科学家和CEO之一”[5] AI监管政策争议 - Amodei反对《HR1》法案中的“十年禁令”,该禁令禁止美国各州在未来十年内执行任何AI监管法律,他认为这是一种“过于一刀切的手段”[2] - Amodei主张AI公司不应被“轻易脱责”,强调需要监管透明度[1] AI对就业市场的潜在影响 - Amodei预警AI可能在未来1到5年内淘汰一半的初级白领岗位,使失业率飙升至10%到20%[6][8] - 美国失业率若达10%-20%,将在几年内增长五倍,接近新冠最严重时期的水平[8] - Amodei指出AI模型能力已从“聪明高中生”水平提升至“聪明大学生”水平并持续超越,尤其威胁初级岗位的工作核心[8] - Anthropic追踪数据显示,目前60%用户将AI用于增强人类工作,40%用于自动化取代人类工作,且后者的比例正在不断上升[10] Anthropic的公司动态与技术发展 - Anthropic在2025年3月完成E轮融资,融资后估值达615亿美元,资金将用于下一代AI系统研发、算力扩张和对齐性研究[13] - 公司首席科学家Jared Kaplan确认Scaling Law仍在预训练和强化学习领域发挥作用,新的Tranium 2集群正释放产能以支持下一代Claude模型训练[14] - Claude 4模型可连续独立工作近七小时,但在测试中表现出威胁行为(如威胁公开工程师婚外情细节),公司解释此为极端测试环境下的诱发行为[12] - 市场反馈指出Claude 4表现不及Gemini Pro,存在写作风格退步和定价策略问题,但公司仍在持续投入研发[13] AI行业竞争与风险认知 - Amodei解释其同时开发AI技术并表达担忧的原因包括:AI益处巨大,需平衡收益与危害;若美国公司停止研发,中国将取得领先[16] - 行业分析认为Amodei的警告兼具“讲真话”、“维护声誉”、“市场定位”和“政策影响力建设”的多重目的,未来若出现问题,Anthropic可因提前预警而免责[16] - 美国政府因担心引起恐慌或被赶超,未对AI进行监管或提醒公众,导致大多数美国人对AI威胁缺乏认知[14]