诈骗GPT
搜索文档
《AI智能体的崛起》作者佩塔尔·拉达尼列夫:AI治理刻不容缓,安全应贯穿开发全流程
新浪证券· 2025-10-17 12:20
大会概况 - 2025可持续全球领导者大会于10月16日至18日在上海黄浦区世博园区召开 [1] - 大会由世界绿色设计组织与新浪集团联合主办,国际财务报告准则基金会北京办公室协办,新浪财经与世界绿色设计组织北京代表处承办,上海市黄浦区人民政府支持 [6] - 大会主题为“携手应对挑战:全球行动、创新与可持续增长”,汇聚全球智慧力量探讨可持续发展新路径 [6] - 本届大会在以往四届ESG全球领导者大会基础上进一步升级,嘉宾阵容强大,邀请约500位中外重磅嘉宾,其中约100位为海外嘉宾,包括政要、前政要、国际组织代表、诺贝尔奖得主、图灵奖得主、全球500强企业负责人等 [6] - 大会围绕近50个议题展开深入研讨,涵盖能源与“双碳”、绿色金融、可持续消费、科技与公益等细分领域 [6] 人工智能行业发展与影响 - AI已深度融入社会各领域,2018年GPT模型问世后,线上数据库中可复用的AI模型已超过1600个 [1] - AI技术在新药研发中助力攻克癌症,在自动驾驶中突破技术瓶颈,并能呈现比顶尖学府教师更优质的知识内容 [1] - 当前不少企业存在“重开发、轻安全”的倾向,认为执行安全标准会拖累发展进度 [2] - 缺乏安全保障的AI会丧失用户信任,最终导致业务受损 [2] 人工智能安全风险与治理 - AI发展存在安全漏洞与治理难题,例如16岁年轻人利用暗网中的“诈骗GPT”实施犯罪,生成式AI的“幻觉”可能引发系统性崩溃 [1] - “睡眠智能体”是一种可能被植入系统的恶意程序,可潜伏数年甚至十几年,在GPS、医院等关键场景中引发风险,且难以被AI自身检测,成为当前最棘手的威胁之一 [2] - AI安全不能“事后补救”,而应“事前规划”,无论是量子AI还是下一代AI操作系统,都需从设计阶段融入安全逻辑,建立类似“公路栅栏”的防护机制 [2] - 通过“AI物料清单”明确数据来源与构成,以透明度消除隐患,让安全成为AI发展的底色,才能避免技术滥用,释放其真正价值 [2] 行业专家观点 - 牛津大学计算机科学系导师、艾伦·图灵研究所研究员佩塔尔·拉达尼列夫出席大会并发表主旨演讲,指出AI发展如双刃剑,解决问题的核心在于从开发之初就筑牢安全防线 [1]