Workflow
智能体安全
icon
搜索文档
思辨会 | 思辨八方,智启未来——2025世界人工智能大会思辨会综述
观察者网· 2025-08-03 21:30
人工智能行业发展趋势 - 2025年世界人工智能大会(WAIC 2025)采用"问题驱动、深度对话"的创新思辨形式,围绕量子模拟、数字孪生脑、AI for Science等前沿议题展开讨论 [1] - 人工智能正从"能看会说"的感知智能迈向"能想会做"的决策智能,迎来历史性转折点 [9] - 具身智能与强化学习结合,推动AI从理论优势转化为产业动能,在智能仓库、无人驾驶、应急救援等领域展现广阔前景 [7] 智能体安全挑战 - 现代智能体具备自主决策能力,但存在严重安全缺陷,可能导致服务器崩溃、数据泄露及企业核心系统渗透 [2] - 专家提出沙盒环境测试、安全对齐技术等解决方案,强调需构建全链条防护体系 [2] - 智能体安全是关乎未来人机信任的关键命题,需将安全考量前置到设计源头 [2] AI for Science应用突破 - AI打破学科壁垒,在量子物理领域识别量子纠缠模式,在材料科学中加速新型超导体发现,在生物医学领域破解蛋白质折叠奥秘 [3] - AI全面覆盖生命科学全流程,从病理研究到分子分析,如GNoME系统发现数百万新晶体材料 [5] - 交大人工智能学院开发全球首个推理型罕见病智能体诊断系统,解决小样本难题 [5] 数字孪生脑技术 - 数字孪生脑通过构建人脑虚拟模型,模拟大脑活动、预测神经疾病发展及测试药物效果 [6] - 该技术为阿尔茨海默症、帕金森病等神经退行性疾病治疗带来新曙光 [6] - 引发关于"思想隐私"边界及人类意识与AI模拟关系的伦理思考 [6] 具身智能发展瓶颈 - 数据短缺是制约具身智能发展的关键瓶颈,人形机器人数据回流明显不足 [8] - 模拟生成仿真数据存在视觉和物理效果质量控制难题 [8] - "模仿+强化"混合学习范式成为突破数据瓶颈的希望之路 [8] 多模态技术挑战 - AI大模型在数学竞赛表现良好但在物理竞赛中吃力,需提升图形理解能力 [4] - 关键挑战在于将符号逻辑与神经网络结合,使AI理解科学规律背后的物理意义 [4] - 多模态技术是提升AI科学能力的潜在方向 [4]
WAIC 2025丨应对智能体安全挑战 蚂蚁集团升级“蚁天鉴”
新华财经· 2025-07-28 19:14
行业技术发展趋势 - AI领域正从大模型时代迈向智能体时代 智能体具备自主规划、跨领域推理及超越人类理解的决策能力 标志着AI进入"行动"阶段 [1] - 超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等安全问题 因AI生成内容常包含事实错误或指令误解 [1] - 世界数字科学院发布《AI智能体运行安全测试标准》 将输入输出、大模型、RAG、记忆和工具五个关键链路与运行环境对应 分析智能体全链路风险 [1] 公司产品与技术进展 - 蚂蚁集团在世界人工智能大会宣布升级大模型安全解决方案"蚁天鉴" 新增智能体安全评测工具 具备Agent对齐、mcp安全扫描、智能体安全扫描及零信任防御四大核心功能 [1] - "蚁天鉴"为蚂蚁集团联合清华大学研发的大模型安全一体化解决方案 新增功能与WDTA标准框架契合 风险研判Agent准确率达96%以上 支持11个行业智能体测试 [2] - 技术采用"以攻促防"安全理念 通过构建"对齐-扫描-防御"技术栈形成全流程防护体系 提供风险扫描与实时防御能力 未来将逐步开源开放安全工具 [2]