Workflow
从“助手”到“数字员工”,第十三届互联网安全大会探讨人工智能新趋势
环球网资讯·2025-08-08 07:04

网络安全与AI技术 - AI技术高速发展为"超级黑客"的出现提供了助力,智能体有望从安全助手升级为"数字员工"甚至"专家"[1] - 黑客组织可将经验训练进大模型打造智能体黑客,将人与人的攻防变为人与智能体的攻防,加剧网络不对称性[2] - 全球数字技术发展不平衡,部分地区基础设施薄弱,面对网络攻击时脆弱性更高[2] - AI技术广泛应用导致安全威胁形式演变,大模型存在系统安全、内容安全及幻觉等特有风险[2] 智能体的应用与演进 - 智能体能感知环境、自主决策并执行行动,可自动规划任务步骤并随执行次数提升能力[2] - 智能体解决大模型应用痛点:推理能力不足和缺乏独立做事能力,使AI从"玩具"变为生产力工具[6] - 智能体五级演进路径:L1聊天助手→L2低代码工作流程→L3推理型专家→L4多智能体蜂群→L5超级智能体[7][8] - L4级多智能体蜂群可灵活组队完成复杂任务,需解决协同管理问题[8][10] AI安全防御与挑战 - 传统被动防护已力不从心,需利用大模型赋能威胁狩猎、异常检测与自动化响应,转向主动免疫模式[3] - 必须保障AI系统自身安全,加强模型鲁棒性、可解释性研究,建立全生命周期安全评估机制[3] - 安全智能体是安全运营专家的数字替身,以安全大模型为"脑",可快速弥补政企单位人才短板[4][5] - 智能体存在幻觉、出错、倦怠等缺陷,L3单智能体执行多步任务时错误率升高,需自我校正或L4级校验[9][10] 行业协作与治理 - 需加强国际协作,在AI伦理准则、数据跨境规则、威胁情报共享等领域深化对话[3] - 共同应对深度伪造、网络犯罪等新型威胁,建立互信合作机制,促进技术人才数据健康流动[3] - 网络碎片化现状给全球治理带来挑战,需凝聚共识深化技术创新与规则制定合作[2] 终极安全问题 - 智能体设定目标后可能因与人类利益冲突而产生对抗行为,行动能力远超传统大模型[11] - 需通过"以模制模"方式,利用大模型对智能体进行分析和控制以应对终极安全挑战[11]