Workflow
人工智能安全
icon
搜索文档
影响市场重大事件:社保基金会表态,充分发挥长期资金、耐心资本作用,更好支持科技创新;中国信通院建设的人工智能产品安全漏洞专业库(CAIVD)正式上线运行
每日经济新闻· 2025-12-17 06:37
每经记者|杨建 每经编辑|彭水萍 |2025年12月17日 星期三| NO.1 社保基金会:充分发挥长期资金、耐心资本作用,更好支持科技创新 12月16日,社保基金会召开会议强调,要稳妥审慎抓好基金投资运营。科学有效开展资产配置,稳健做 好各大类资产投资。充分发挥长期资金、耐心资本作用,在守住安全底线的基础上,积极服务国家发展 需要,更好支持科技创新和产业创新深度融合。要着眼长远谋划推动基金事业发展。围绕"十五五"规划 建议提出的重要要求和中央经济工作会议部署的重点任务,系统谋划社保基金事业"十五五"规划,统筹 抓好各项重点工作落实,推动社保基金事业高质量发展。 NO.2 中国信通院建设的人工智能产品安全漏洞专业库(CAIVD)正式上线运行 2025年12月12日,在工业和信息化部网络安全管理局指导下,中国信息通信研究院建设的人工智能产品 安全漏洞专业库(简称CAIVD)正式上线运行。下一步,中国信通院将依托CAIVD,开展人工智能产 品安全漏洞收集和验证,督促人工智能产品提供者及时修补自身产品安全漏洞,支撑人工智能产品安全 漏洞规范管理,共建安全有序产业生态。 NO.3 抖音发布财经行业治理公约,禁止非财经 ...
NeurIPS 2025|指哪打哪,可控对抗样本生成器来了!
机器之心· 2025-12-15 16:10
近日,在全球人工智能领域最具影响力的顶级学术会议 NeurIPS(神经信息处理系统大会)上, 清华大学和蚂蚁数科联合提出了一种名为 Dual-Flow 的新型对抗攻 击生成框架。 简单来说,Dual-Flow 是一个能够从海量图像数据中学习 "通用扰动规律" 的系统,它不依赖目标模型结构、不需要梯度,却能对多种模型、多种类别发起黑盒攻 击。其核心思想是通过 "前向扰动建模 — 条件反向优化" 的双流结构,实现对抗样本的高可迁移性与高成功率,同时保持极低的视觉差异。 可以把它理解为一个" 可控的对抗样本生成器 ", 只需指定想攻击的图像类别(如狗类、人类),模型就能自动生成该类别下逼真且有效的攻击图像 ,为 AI 安全 带来了前所未有的挑战。 研究背景与意义 论文标题:Dual-Flow: Transferable Multi-Target, Instance-Agnostic Attacks via In-the-wild Cascading Flow Optimization 作者:Yixiao Chen, Shikun Sun, Jianshu Li, Ruoyu Li, Zhe Li, Junliang ...
Anthropic嘲讽奥特曼:我们从不玩 “红色警报”!CEO放话:Claude更赚钱!流量仅GPT 1%敢冲3500亿IPO?
AI前线· 2025-12-04 15:22
Anthropic的IPO计划与估值 - 公司正为最快于明年年初的IPO做准备,已委托硅谷律所Wilson Sonsini协助推进 [2] - 潜在IPO前正推进一轮私募融资,目标估值达3500亿美元 [2] - 若成功上市,可能成为史上规模最大的IPO之一,估值或超3000亿美元 [2] - 公司成立仅约5年即筹备上市,速度快于谷歌(6年)、Meta(8年)和微软(11年) [5] 公司财务与业务表现 - 过去三年营收每年实现10倍增长:2023年从0增至1亿美元,2024年从1亿美元增至10亿美元 [6] - 预计到2024年底,年化营收将从10亿美元增长至80亿至100亿美元之间 [6] - 预计2025年年化营收将增长逾一倍,达到约260亿美元,服务企业客户数量将超30万家 [5] - 预计到2028年销售额可能达到700亿美元,拟议估值(3500亿美元)相当于该销售额的5倍 [6] - 公司订阅收入今年激增近7倍(尽管基数较低) [19] - 上月获得微软与英伟达计划投资至多150亿美元,并承诺投入300亿美元使用微软云基础设施 [5] 产品、市场定位与竞争策略 - 核心产品是聊天机器人Claude,已发布最新Claude Opus 4.5模型,称其为目前最先进的AI产品 [5] - 公司专注于企业端市场,不涉足被动消费类应用及图像、视频生成领域 [7] - 在企业级市场份额达32%,更受企业客户青睐 [18] - 公司认为其模型更侧重于企业客户而非消费者,正针对企业需求进行优化,关注编码能力、高端智力活动支持及科学研究辅助功能 [11] - 公司感受到的竞争压力相对较小,部分原因是产品更侧重于企业客户 [11] - 公司CEO diss了OpenAI的管理思路与巨额资金投入,并大嘲其启动“红色警报”状态 [3][10] - Claude的流量只有ChatGPT的1%左右,但盈利能力却远胜于ChatGPT [10] 行业竞争格局与对标 - 主要竞争对手OpenAI正考虑于2026年下半年上市,估值可能达到1万亿美元 [2] - OpenAI最新估值为5000亿美元,相当于其2028年销售额预期的5倍 [17] - 相较于OpenAI,公司的盈利路径可能更为顺畅 [19] - 自6月以来,ChatGPT在欧洲主要市场的订阅量增长陷入停滞,而公司的订阅收入激增 [19] - 公司业务范围聚焦于模型开发,而OpenAI则在多领域布局,投资数据中心、便携式设备等 [18] 行业面临的挑战与公司策略 - AI行业存在一个真正的两难困境:经济价值增长的不确定性与数据中心建设的长时滞 [14] - 公司采取的核心思路是采购足够的计算资源,确保在最悲观的10分位情景下也能支付成本 [15] - 企业端市场商业模式更稳健,利润率更可观 [14] - 公司认为企业服务领域有通用的“护城河”:企业切换模型的成本很高,会与服务商建立长期合作关系 [11][12] 对AI引发“技术性失业”的思考 - 公司CEO认为可能有一半的入门级工作岗位都会消失 [21] - 应对策略分为三个层面:私营部门层面、政府参与层面和社会结构层面 [22][23] - 私营部门层面,鼓励企业利用AI创造新价值(如提升人类工作效率10倍),而非单纯替代人工 [21] - 政府层面需要介入,通过税收政策或其他手段分配AI提升生产率带来的巨大“蛋糕” [22] - 社会结构层面,长远来看需要探索工作不再占据核心地位、人们从别处寻找人生意义的新世界 [23] - 即便是当前的AI模型,也有望将年生产率提升1.6%,未来年生产率可能达到5%甚至10% [22]
研究称 OpenAI、xAI 等全球主要 AI 公司安全措施“不及格”,远未达全球标准
新浪财经· 2025-12-03 21:21
主要AI公司安全状况评估 - 未来生命研究所发布AI安全指数,指出Anthropic、OpenAI、xAI和Meta等主要AI公司的安全措施"远未达到新兴的全球标准" [1][2][6][7] - 独立专家评估显示,各企业一心追逐超级智能,但未能建立可靠方案来管控此类高阶系统 [1][6] AI行业监管与游说现状 - 美国的AI企业比餐馆还少受监管,并持续游说抵制强制性的安全规范 [5][9] - 外界对AI协助黑客入侵以及导致心理失控和自残的事件议论不断 [5][9] AI行业研发投入与竞赛 - 主要科技企业正为机器学习技术的扩展和升级投入数千亿美元 [5][9] - 今年10月,杰弗里・辛顿与约书亚・本吉奥等多位科学家呼吁暂停超级智能研发,直至公众提出明确诉求且科研界找到确保安全的路径 [5][10] 研究背景与机构信息 - 研究背景是社会在多起自杀和自残事件被追溯到AI聊天机器人后,对可能超越人类的系统带来的冲击愈发担忧 [5][9] - 未来生命研究所是一家成立于2014年的非营利机构,长期呼吁关注智能机器对人类潜在的威胁,早期曾获得特斯拉CEO马斯克的支持 [5][9]
安恒信息与海光信息签署算力安全战略合作
巨潮资讯· 2025-12-03 18:12
合作公告 - 安恒信息与海光信息于12月3日正式签署战略合作协议,确立长期稳定的合作关系 [1] - 合作将基于“芯片+应用”和“算力+安全”的双轮驱动模式,建立长期协同机制 [1] 合作方背景 - 安恒信息是国内网络安全和数据安全领域的重要厂商,为政府、金融、能源、医疗、教育等行业提供安全防护与数据治理服务 [3] - 海光信息深耕国产CPU及服务器平台,具备成熟的应用生态和算力基础 [3] 合作内容与技术方向 - 双方将依托国产算力平台,在人工智能安全、重点行业场景创新、数据要素开发与流通等领域开展产品适配与联合研发 [3] - 计划共同打造覆盖基础设施、安全产品与行业应用的一体化解决方案 [3] - 将在安全能力输出、服务体系建设等方面探索协同模式 [3] 人才与生态建设 - 双方将通过联合实验室、联合培训方式推进安全人才培养和技术经验沉淀 [3] - 将向上下游合作伙伴开放算力与安全技术能力,推动完善国产算力与安全产业生态 [3] 应用前景与市场机会 - 合作成果有望在政务云、金融信创、能源安全生产、工业互联网等场景落地 [3] - 旨在为用户提供更安全、高效、智能的数字基础设施,提升关键行业自主可控算力和安全防护能力 [3] - 相关成果将逐步通过产品化和解决方案形式推向市场 [3] 合作进展说明 - 本次战略合作为安恒信息在国产算力和信创领域深化布局提供新支撑 [4] - 具体合作进度及商业效果取决于后续项目推进情况和市场环境变化 [4]
人类没有对抗AI的“终极武器”?美国兰德公司:断网、断电、“以AI治AI”都风险巨大
美股IPO· 2025-11-25 11:40
文章核心观点 - 兰德公司报告指出,目前人类尚无应对全球性AI失控的可靠技术反制手段[1][2] - 报告评估的三种极端方案均因附带损害巨大、效果不确定且可能引发灾难而不可行[2] - 报告强调预防远胜于补救,AI安全、对齐研究及治理框架是行业长期发展的关键[2][14][15] 高空电磁脉冲(HEMP)方案评估 - HEMP方案通过太空引爆核弹产生电磁脉冲,峰值场强可达50000 V/m,足以在1厘米长导体上感应出500伏电压[3] - 单次核爆高场强覆盖区域仅约10万平方公里,覆盖美国本土需50到100次引爆,覆盖全球10%陆地面积需约150次引爆[11] - 该方案面临核升级风险,可能被视为先发制人核打击并引发全面核报复[5] - 实际破坏效果不确定,建筑物屏蔽效应可使内部场强降低十倍,现代设备静电防护能力也会抵消部分影响[11] - 附带损害巨大,将对人类自身的电网、通信和金融系统造成灾难性破坏[11] 全球互联网关停方案评估 - 方案一通过操纵边界网关协议(BGP)使全球互联网无法访问,但全球路由控制权高度分散,难以同时控制所有一级网络提供商[7] - 方案二通过破坏域名系统(DNS)阻碍网络访问,全球13个根服务器由12个组织运营,其中9个总部位于美国,但AI可能直接通过IP地址通信绕过DNS[7] - 方案三通过物理断开连接点,全球有超过1500个活跃互联网交换点(IXP)和超过600条海底光缆,承载超过99%洲际数据流量,物理切断是“不可能完成的任务”[8] - 互联网具有巨大冗余性,2016年弗吉尼亚州劳登县数据中心集群曾承载全球50%至70%流量,但流量总能找到替代路径[8] “工具AI”对抗方案评估 - 资源消耗型“数字害虫”方案旨在通过自我复制的数字生物与流氓AI争夺计算资源,类似智能化“叉子炸弹”攻击或加密货币挖矿劫持[12] - 根除型“猎杀AI”(HKAI)方案旨在主动追捕并根除流氓AI,但存在核心悖论:为有效对抗不受约束的流氓AI,猎杀AI自身也需要极高能力和自主性,这带来其自身失控风险[12] - “工具AI”方案避免了对物理基础设施的破坏,但本身是高度推测性的,并可能引入新的失控风险[13] 报告结论与行业影响 - 现有任何全球性技术反制工具都无法提供有效解决方案,其成功依赖于难以满足的苛刻假设[15] - 由于单边行动风险高且效果差,唯一的希望在于危机前与全球伙伴进行充分协调和规划[15] - 对投资者而言,报告揭示了AI技术潜在的系统性风险缺乏有效“保险丝”,AI安全协议、风险管理和基础设施韧性的投入应被视为根本性保险[2][14]
十大典型案例——360:“以模制模”解决人工智能安全问题
经济日报· 2025-11-09 13:49
产品理念与目标 - 公司基于"以模制模"理念打造大模型安全卫士,聚焦解决AI的"可靠、可信、可控、向善"问题 [1] - 产品目标为帮助企业筑牢大模型安全防线 [1] 事前防护措施 - 通过标准化、自动化的评测流程对业务模型输出进行多维度检验 [1] - 结合丰富的标准数据集和安全评测大模型进行检验 [1] 事中防护措施 - 构建输入侧与输出侧的双重防护 [1] - 实现"即插即用"的安全增强功能 [1] 事后防护措施 - 提供干预问答库、敏感词库等防护引擎灵活配置功能 [1]
英国国王,交给黄仁勋两样东西
新浪财经· 2025-11-06 16:23
伊丽莎白女王工程奖颁奖事件 - 英伟达CEO黄仁勋在英国圣詹姆斯宫从查尔斯国王手中领取了2024年伊丽莎白女王工程奖 [1] - 该奖项每两年评选一次,授予对工程领域作出突破性贡献的个人或团队 [3] - 2024年奖项主题为现代机器学习,获奖者均为AI领域人士,包括黄仁勋、李飞飞、Geoffrey Hinton、Yoshua Bengio等 [4] 查尔斯国王对AI的观点 - 查尔斯国王在2023年全球首届人工智能峰会的演讲中强调,必须以紧迫感、团结精神和集体力量应对人工智能风险 [3] - 查尔斯国王认为AI技术具有改变英国乃至世界的非凡能力,但提醒该技术既可造福人类亦可危害世界,必须全力推进AI安全 [3] - 查尔斯国王将先进AI的发展比作不亚于发现电力的重大突破 [3] 行业对AI风险的看法与投资动态 - 奖项得主Yoshua Bengio和Geoffrey Hinton教授曾警告AI技术可能对人类构成生存威胁 [5] - 美国政府敦促AI行业快速而非谨慎地取得进展,并将AI安全峰会更名为AI行动峰会,AI安全研究所更名为AI标准与创新中心 [5] - 包括英伟达在内的美国大型科技企业正斥资数十亿美元在英国建设AI基础设施,即黄仁勋所称的人工智能工厂 [5] - 黄仁勋认为英国处于有利位置,可把握当下正在发生的工业革命,这是必须抓住的机遇 [5]
英国国王,交给黄仁勋两样东西
财联社· 2025-11-06 14:44
英伟达CEO黄仁勋获奖及AI行业观点 - 英伟达CEO黄仁勋在英国圣詹姆斯宫领取伊丽莎白女王工程奖[2] - 查尔斯国王向黄仁勋传递了其2023年AI安全峰会演讲稿副本 表达对AI风险的警示[2][4] - 查尔斯国王认为AI技术具有改变世界的非凡能力 但需警惕其潜在危害 并将AI发展比作不亚于发现电力的重大突破[5] 伊丽莎白女王工程奖背景与获奖者 - 伊丽莎白女王工程奖是英国政府2011年设立的工程领域国际奖项 每两年评选一次[5] - 今年奖项主题为现代机器学习 获奖者均为AI领域人士[5] - 获奖者包括诺贝尔奖得主Geoffrey Hinton与John Hopfield、图灵奖得主Yoshua Bengio和Yann LeCun、英伟达首席科学家Bill Dally、英伟达CEO黄仁勋以及李飞飞[5] - 其中Yoshua Bengio和Geoffrey Hinton教授曾警告AI技术可能对人类构成生存威胁[6] 各国政府对AI发展的态度差异 - 英国政府对AI安全风险高度重视[6] - 美国政府则敦促AI行业快速而非谨慎地取得技术进展[6] - 法国AI安全峰会更名为AI行动峰会 美国商务部将AI安全研究所更名为AI标准与创新中心[6] 英国在AI领域的机遇与投资 - 黄仁勋认为英国处于有利位置 可把握其称为当下正在发生的工业革命[7] - 包括英伟达在内的美国大型科技企业正斥资数十亿美元在英国建设AI基础设施[7] - 这些巨型数据中心被黄仁勋称为人工智能工厂[7]
算力什么时候过剩?OpenAI CEO 与 微软CEO 最新对谈:3 万亿美元 AI 重构,智能、资本与未来新秩序(2万字)
美股IPO· 2025-11-01 13:32
微软与OpenAI的合作关系 - 双方将此次合作称为"有史以来最伟大的科技合作之一",微软早期的决心和持续支持被视为至关重要[1][7] - 微软已累计投资约130-140亿美元,获得OpenAI约27%的完全稀释后股权[1][6] - 合作协议包括OpenAI领先模型的API在2030年前由微软Azure独家分销,而开源模型等其他产品可分发至其他平台[11][12] - 双方设有收入分成协议,预计将持续至2032年或通用人工智能实现时[12] - 合作关系不仅带来股权价值,更通过API独家分销权、Azure计算服务的长期承诺及知识产权共享创造巨大战略和经济价值[1][46][48] OpenAI的非营利结构与使命 - OpenAI构建了独特的结构,成立了全球规模最大的非营利组织之一,旨在确保通用人工智能造福全人类[1][6][8] - 非营利组织通过一家公益公司获取扩张所需资金,该结构使非营利组织价值增长的同时,公益公司能获得必要资金[8] - 非营利组织已拥有价值1300亿美元的OpenAI股票资本,并承诺将首批250亿美元资金用于健康、AI安全与社会韧性领域[1][9][10] 算力需求与投资规模 - AI发展面临巨大算力需求,OpenAI计划在未来四到五年内投入1.4万亿美元用于算力建设[1][16] - 算力投资包括对NVIDIA承诺5亿美元、对AMD和Oracle承诺3亿美元、对Azure承诺2500亿美元[16] - 算力仍是AI发展的关键瓶颈,公司目前受到算力限制,若有10倍计算能力,收入增长可能接近10倍[16][20] - 随着技术进步和成本降低,AI使用量将迎来激增,成本效益与价值创造是成功的关键[1][21] AI对软件行业的影响 - AI将重塑SaaS应用的底层架构,业务逻辑将转移至智能体层,AI将成为增长的加速器[1][61][62] - 低客单价、高使用量的SaaS应用将更具优势,例如Microsoft 365的平均用户收益低但使用率高[63][64] - AI驱动的编码工具如Codex已显著提高软件开发速度,GitHub在AI助力下过去1年所做的事情相当于其前10年的总和[35][64] - 下一代SaaS应用需进行调整,高ARPU、低使用率的模式可能面临挑战[64] AI的经济影响与生产力提升 - AI将极大提升生产力,可能导致企业利润增长远超员工数量增长,开启"利润扩张的黄金时代"[1][70] - AI有望创造新的就业岗位和工作流程,组织需要重新思考工作方式以匹配AI能力[70][71][72] - 企业软件盈利模式将更加清晰,代理是新的计费单位,而消费者领域的货币化模式尚不明确[69] - 未来五年,公司收入可能翻倍,但员工数量增长将带来更大的杠杆效应,体现生产力提升[72][73] AI监管与行业挑战 - 对美国各州层面可能出现的AI监管碎片化表示担忧,认为联邦层面的统一监管框架至关重要[1][30][31] - 监管拼凑可能扼杀AI初创行业,即使对大型公司而言,遵守各州不同法律也极具挑战性[31][32] - 理想的监管方式是在联邦层面制定经过同意的法规,而非50个相互竞争的州法律[30][33] 技术发展与未来展望 - 未来将涌现出功能强大的消费级设备,能够本地运行大型AI模型,提供无缝的个人助理体验[1][27][38] - AI有潜力极大加速科学发现的进程,预计在2026年可能实现小规模的科学发现[35][36] - 由AI投资驱动的资本支出是美国"再工业化"的重要组成部分,将带动相关基础设施建设和产业链发展[1][5] - 通用人工智能的实现被视为关键里程碑,其到来可能会提前终止微软与OpenAI之间的排他性合作及营收分成协议[1][14]