文章核心观点 - AI正从“聊天机器人”向“行动式智能体”进化，能接管操作系统、自主调用API，引发对安全的新担忧[1][2] - 智能体安全是AI下半场最具挑战的赛道，是智能体经济规模化落地的必经之路，行业思维需从“能力优先”转向“信任优先”[3][4][50] - 江苏通付盾公司提出了一套前瞻性的三层智能体安全框架，并已在其“大群空间”多智能体协同平台中落地[4][5][54] 智能体安全的重要性与挑战 - AI正从技术突破转向大规模应用，在能源、金融、制造等重点领域落地，安全问题日益受重视[8] - 智能体安全应从一个技术子课题，上升为决定产业智能化成败的核心前提与价值基石[9] - 智能体是包含数据、算力、算法到业务场景的全链路复杂系统，其安全需要体系化建设[10] - 面对能自主决策的智能体，传统“打补丁”式的安全思维已失效，需采用“内生安全”与“零信任”相结合的新设计哲学[2][13] 通付盾的智能体安全三层框架 基础层安全：可信算力与数据 - 核心是算力安全与数据安全，确保智能体“躯体”可靠与数据纯净[12] - **节点化部署**：将算力网络分解为一系列分布式的、具有独立可信执行环境的安全节点，通过区块链等可信账本技术连接，实现从“信任中心”到“验证过程”的转变[17][19][20] - **数据容器**：是保障数据主权与隐私的核心载体，内嵌数据使用策略，遵循“数据不动算力动”原则，通过可信执行环境或隐私计算确保数据“可用不可见”[21][22][23] - **构建协同网络**：结合节点与数据容器，形成多节点协同式的价值网络，使智能体可以安全地跨节点发现、调度和协同[25][27] 模型层安全：可信算法与超级智能对齐 - 核心是算法安全和协议安全，赋予智能体可验证的理性与对齐的价值观[12] - 目标是确保AI的目标和行为与人类的价值、意图和利益保持一致，即“超级智能对齐”[28][29] - **形式化验证**：将模糊的安全需求转化为精确定义的形式化逻辑规约，对智能体核心决策逻辑进行数学上严谨的验证，以证明其行为不会违反安全规约[33][34] - 形式化验证通过划定明确的安全边界来应对“智能体不完备定理”，提供“可组合的安全保障”[35][36] - 形式化验证也应用于**后量子安全密码**的设计与实现，为智能体基础设施提供抗量子攻击的密码学根基[37][38][39] 应用层安全：可信应用与智能风控 - 核心是智能体安全运维与业务风控，为智能体在真实世界中的“行为”套上动态、精准的约束[12] - OpenClaw、Moltbook等“行动式”智能体流行，能深度集成操作系统权限、调用外部API，暴露了传统基于规则的风控模式无法应对的新威胁[41][43] - 具体威胁包括通过“提示注入”诱导智能体越权操作，以及脆弱的插件供应链成为恶意代码注入渠道[44][53] - 通付盾构建了**基于本体论的智能体安全风控平台**，将领域知识转化为机器可理解的“数字世界语义地图”，即动态生长的业务安全知识图谱[45][46] - 该平台能实时解读每个智能体的行动意图，进行动态关系推理与安全审查，实现从表面行为匹配到意图与上下文合规性判断的跃升[47] 行业趋势与未来展望 - AI发展正从追求模型能力的“野蛮生长”，进入构建可信应用的“精耕细作”时代[48] - 智能体安全是一项关于构建数字世界“信任基础设施”的系统工程，是释放智能体经济万亿美元潜力的先决条件[51] - 智能体安全自身已演进为一个至关重要且高度独立的战略赛道，汇聚了密码学、形式化方法等多领域知识的尖端融合[51] - 未来衡量AI企业竞争力的标尺，将不仅是模型参数规模，更是其是否能搭建安全可信的智能体协同网络，实现多智能体在复杂场景下的稳定可靠运行[55]

人工智能行业发展趋势 - 2025年世界人工智能大会(WAIC 2025)采用"问题驱动、深度对话"的创新思辨形式，围绕量子模拟、数字孪生脑、AI for Science等前沿议题展开讨论 [1] - 人工智能正从"能看会说"的感知智能迈向"能想会做"的决策智能，迎来历史性转折点 [9] - 具身智能与强化学习结合，推动AI从理论优势转化为产业动能，在智能仓库、无人驾驶、应急救援等领域展现广阔前景 [7] 智能体安全挑战 - 现代智能体具备自主决策能力，但存在严重安全缺陷，可能导致服务器崩溃、数据泄露及企业核心系统渗透 [2] - 专家提出沙盒环境测试、安全对齐技术等解决方案，强调需构建全链条防护体系 [2] - 智能体安全是关乎未来人机信任的关键命题，需将安全考量前置到设计源头 [2] AI for Science应用突破 - AI打破学科壁垒，在量子物理领域识别量子纠缠模式，在材料科学中加速新型超导体发现，在生物医学领域破解蛋白质折叠奥秘 [3] - AI全面覆盖生命科学全流程，从病理研究到分子分析，如GNoME系统发现数百万新晶体材料 [5] - 交大人工智能学院开发全球首个推理型罕见病智能体诊断系统，解决小样本难题 [5] 数字孪生脑技术 - 数字孪生脑通过构建人脑虚拟模型，模拟大脑活动、预测神经疾病发展及测试药物效果 [6] - 该技术为阿尔茨海默症、帕金森病等神经退行性疾病治疗带来新曙光 [6] - 引发关于"思想隐私"边界及人类意识与AI模拟关系的伦理思考 [6] 具身智能发展瓶颈 - 数据短缺是制约具身智能发展的关键瓶颈，人形机器人数据回流明显不足 [8] - 模拟生成仿真数据存在视觉和物理效果质量控制难题 [8] - "模仿+强化"混合学习范式成为突破数据瓶颈的希望之路 [8] 多模态技术挑战 - AI大模型在数学竞赛表现良好但在物理竞赛中吃力，需提升图形理解能力 [4] - 关键挑战在于将符号逻辑与神经网络结合，使AI理解科学规律背后的物理意义 [4] - 多模态技术是提升AI科学能力的潜在方向 [4]

行业技术发展趋势 - AI领域正从大模型时代迈向智能体时代 智能体具备自主规划、跨领域推理及超越人类理解的决策能力 标志着AI进入"行动"阶段 [1] - 超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等安全问题 因AI生成内容常包含事实错误或指令误解 [1] - 世界数字科学院发布《AI智能体运行安全测试标准》 将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应 分析智能体全链路风险 [1] 公司产品与技术进展 - 蚂蚁集团在世界人工智能大会宣布升级大模型安全解决方案"蚁天鉴" 新增智能体安全评测工具 具备Agent对齐、mcp安全扫描、智能体安全扫描及零信任防御四大核心功能 [1] - "蚁天鉴"为蚂蚁集团联合清华大学研发的大模型安全一体化解决方案 新增功能与WDTA标准框架契合 风险研判Agent准确率达96%以上 支持11个行业智能体测试 [2] - 技术采用"以攻促防"安全理念 通过构建"对齐-扫描-防御"技术栈形成全流程防护体系 提供风险扫描与实时防御能力 未来将逐步开源开放安全工具 [2]