AI技术安全现状与挑战 - AI技术应用潜力巨大但安全问题突出，如AI换脸诈骗、大模型失控等事件引发社会关注[1] - 当前AI安全主要面临四大风险：数据隐私风险、安全攻击门槛降低、生成式内容滥用、AI内生安全不足[3] - AI内生安全不足可能导致"AI幻觉"、决策误导等问题，在医疗、金融等领域影响尤为显著[3] 数据安全防护策略 - 全生命周期数据保护是核心策略，覆盖模型引入、训练、微调及智能体开发运行各环节[4] - 具体措施包括训练数据敏感信息扫描、开源模型供应链漏洞检测、智能体安全攻击测试等[5] - 当前防护盲区集中在供应链生态风险和多智能体协作风险，智能体开发低代码化加剧安全挑战[6] 企业风险应对建议 - 企业需建立长期安全部署，加强内部制度流程建设，而非依赖短期安全产品[8] - 重点关注三类风险：AI服务安全水位不均、企业内数据流转失控、新型大模型攻击[8] - 初期应强化模型数据引入审查及AI服务开放前测试，降低供应链风险影响[9] 平台治理与行业标准 - 平台方需承担智能体开发一线管控责任，但跨平台治理需政府监管介入[7] - 行业标准是构建安全生态的基础框架，可统一技术规范、降低中小企业安全门槛[17] - 蚂蚁集团已参与制定80余项AI安全国际国内标准，2024年将发布智能体安全新信息[17] 技术创新与安全平衡 - AI安全与创新发展相互促进，需动态更新安全策略并利用AI技术升级防御[16] - 风险控制需精细化，结合用户意图判断风险而非简单拦截，提升隐私保护技术[9] - 服务引导策略优于强制拦截，可通过官方入口引导满足用户需求[10] 蚂蚁集团实践案例 - 推出"蚁天鉴"大模型安全解决方案，包含安全检测平台和风险防御平台[11] - 检测平台采用对抗学习实现"以攻促防"，防御平台覆盖模型全生命周期[11] - 方案已应用于数十家外部机构，保护医疗、金融、政务等领域大模型安全[12] 数据安全战略定位 - 大模型数据安全兼具技术保障和战略竞争力双重属性[13] - 全球数据安全法规竞争激烈，AI安全治理框架成为各国争夺话语权领域[14] - 新加坡和中国相继发布AI治理框架，强调数据在生成式AI中的核心作用[14] AI安全未来趋势 - 安全能力嵌入AI基础设施实现"出厂即安全"，降低应用环节投入[15] - 发展特定安全技术如数字水印，解决中小企业应用风险[15] - 需建立多层次AI安全治理体系，关注数据透明度、深度伪造防范等[15]

生成式AI技术应用与风险 - 生成式AI在数据分析、智能交互、效率提升等领域展现巨大潜力，为解决复杂问题提供新思路[1] - AI换脸诈骗、大模型拒绝关闭等事件凸显技术滥用、伦理道德、隐私保护等风险[1] - AI技术安全风险包括数据隐私、攻击门槛降低、生成内容滥用、内生安全不足四大类[2][3][4] AI安全防护策略 - 全生命周期数据保护是防范数据泄露核心策略，覆盖模型引入、训练、微调及智能体开发全流程[5] - 训练数据需扫描敏感信息并标识来源，开源模型需供应链漏洞检测以防止后门攻击[6] - 智能体发布前需安全攻击测试，运行中持续监测风险[6] 当前防护策略的盲区与挑战 - 供应链和生态风险突出，开源组件广泛使用增加漏洞可能性[7] - 智能体开发"低代码化"导致治理滞后，恶意智能体可能诱导用户访问钓鱼网站[7] - 多智能体协作缺乏可信认证机制，存在身份伪造风险[7] 企业应对AI风险的实践建议 - 企业需远期部署安全制度、流程及防御技术，加强模型引入审查和对外开放前测试[9][10] - 风险控制需精细化，结合用户意图定性风险，避免"一刀切"拦截策略[10][11] - 蚂蚁集团推出"蚁天鉴"安全解决方案，包含检测平台和防御平台，已开放给数十家外部机构[12][13] AI安全未来发展趋势 - 安全能力嵌入AI基础设施，实现"出厂即安全"以降低应用环节成本[15] - 突破数字水印、知识库隐私保护等特定技术，解决中小企业安全风险[16] - 行业标准将统一技术规范、协调多方利益，降低中小企业安全门槛[18][19] AI安全与创新的平衡 - 安全与创新互相成就，利用AI对抗AI升级防御能力[17] - 蚂蚁集团参与制定国内外AI安全标准80余项，推动行业共识与规范创新[19]