2025年，生成式人工智能的浪潮已从技术狂热步入深度应用的冷静期。AI工具愈发强大与普及，但随 之划出的安全边界却日益模糊——从AI造假、版权纠纷到情感深度依赖，乃至具身智能带来的实体安 全风险，公众的期待与忧虑从未像今天这样交织。 如何看待AI手机智能体引起的争议？AI安全机制如何从"打补丁"走向"原生设计"？AI时代，"合理使 用"的边界应如何被重新定义？ 最权威的政策与战略解读，最前沿的法律与伦理思辨，最硬核的安全技术演示，最接地气的产业实践观 察——本场论坛将围绕 "AI安全边界：技术、信任与治理新秩序" 这一核心议题，试图回答：在技术狂 奔的时代，我们应如何构建可信的护栏，又该如何在创新与秩序之间找到至关重要的平衡点？ 欢迎扫码报名！ 当AI智能体开始替我们做决定，当数字替身无处不在，我们正站在一个技术能力飞跃与安全边界模糊 并存的关键十字路口。在这一背景下，由南方都市报社、南都数字经济治理研究中心主办的第九届"啄 木鸟数据治理论坛"，将于12月18日在北京举行。 十四届全国政协委员、工业和信息化部原副部长王江平，将从哲思视角勾勒"以对齐求善治"的AI治理理 念；中国法学会副会长、中国人民大学一级教 ...

行业趋势：AI发展进入新阶段 - 2025年人工智能正从大模型算法走向落地应用阶段从训练时代进入到应用推理时代 [1][3] - 行业讨论更高频的词汇不仅仅是大模型还有Agent [3] - 到2035年AI将实现从训练到推理整体的转型AI模型会有更多应用 [4] 技术焦点：推理芯片与成本 - 行业更需要关注百万token的成本和功耗以及低成本低功耗的推理芯片 [3] - 未来推理芯片的规模会进一步提升超越训练芯片 [4] - 到2030年训练芯片的规模可能在1万亿美元左右而推理芯片可能接近4万亿美元 [4] - 未来5年AI将重新定义所有数字应用硬件和电子设备AI处理芯片无处不在 [4] 技术演进：计算形态与能效 - 现有计算体系在能耗和效率上面临越来越大的压力未来需要在新的计算形态上进行更多探索 [2] - 模拟计算类脑芯片以及基于类器官的计算等方向在理论上有望在功耗和通信能力上展现出明显优势 [2] - 目前基于脑细胞类器官的计算研究仍处于非常早期阶段不足以承担大规模AI负载 [2] - 过去训练AI花费可能高达数十亿美元行业需要打造更经济的AI训练模式 [2] - 目标是将生成100万token的成本从1美元降到1美分即降低99% [2] 行业共识：AI安全与发展方向 - AI学习效率和知识传递速度比人类提升了好几十亿倍 [1][2] - AI系统之间的知识蒸馏与分享效率比人与人之间的信息传递代际传递效率提升好几十亿倍 [2] - 全球应携手让AI朝着正确向善的方向发展确保AI的安全性 [1][2] - 需要打造智能向善的AI让全人类都足够受益 [2]

人工智能技术趋势 - 人工智能正从大模型算法阶段进入落地应用阶段，2025年被视为“应用推理时代”的开端 [1][13][14] - 模拟计算、类脑芯片以及基于类器官的计算等新计算形态被探索，理论上在功耗和通信能力上有优势，但类器官计算研究仍处早期阶段 [9] - 未来AI将重新定义所有数字应用、硬件和电子设备，包括消费电子及企业级产品 [14] AI安全与治理 - 专家强调AI安全治理的重要性，AI学习效率和知识传递速度比人类提升数十亿倍 [1][5] - 需确保AI向正确、向善的方向发展，防止AI欺骗人类，使其为全人类服务 [1][5][6] - 倡导全球联合进行AI治理技术研究，携手确保AI安全性 [5] AI成本与可及性 - AI训练成本有望大幅下降，目标是将生成100万token的成本从1美元降至1美分，实现100倍降低 [7][8] - 打造更经济的AI训练模式是关键，使AI使用成本接近水电气等基础设施水平，让偏远地区学生、基层医院和中小企业受益 [6][8] - 低成本、低功耗的AI是让更多人用得起、用得上的前提 [6][8][14] AI芯片产业发展 - 2025年AI行业正从训练时代转向应用推理时代，推理芯片的重要性提升 [13][14] - 预计到2030年，训练芯片市场规模约1万亿美元，而推理芯片市场规模可能接近4万亿美元 [14] - 未来需要更关注低成本、低功耗的推理芯片，以支持AI智能体广泛应用，建议启动全球处理芯片标准 [14]

通用人工智能发展路径 - 图灵奖得主姚期智指出，通用人工智能将使机器具备认知、推理及复杂场景运动能力，其实现将在科学、战略、经济及科技竞争中产生巨大作用[5] - 走向通用人工智能有四个不可避免的方向：大模型持续演化、具身通用智能、科学智能以及AI安全治理[5] - 过去5年，中国在大模型研发方面从与国际有相当距离的程度达到了第一方阵甚至领先的地步[7] 大模型与具身智能演进 - 大模型智能越高可做的事越大，提升大模型能力是重要方向[8] - 具身智能是从大语言模型演变成具有物理知识、能了解世界智能的重要方向，能补足传统机器人产业的不足，使其取代人类不想做的工作[8] - 未来5至10年，AI for Science将对科学研究方式产生翻天覆地变化，科学家的工作必须是科学与大模型等AI技术最好地配合[8][9] AI安全与治理挑战 - AI算法天生具有不鲁棒、不确定、不可解释、不善于抵抗恶意等特性[11] - AI应用可能冲击社会运行，影响社会价值或伦理，并可能替代大量工作造成失业问题[11] - AI与核科技、生物科技不同之处在于其非常像人，可能导致失控并违背人类意愿，需研发可证明安全的AI系统并设置治理协议[11][12] 机器人产业未来十年展望 - 宇树科技创始人王兴兴认为，未来十年是机器人从“能运动”走向“能做事”，从“行业工具”迈向“生活伙伴”的十年[15] - AI技术将赋予机器人真正“理解世界”的能力，多模态大模型与机器人深度融合将使机器人更加敏锐和能干[15] - 场景将推动机器人融入生活，在工业、养老护理及家庭环境中承担各类任务，成为“全能帮手”[17] AI市场规模与商业化路径 - 智谱董事长刘德兵指出，当AI赋能各行各业时，市场规模可能达到万亿级[19] - 智谱完全支持开源，已开源40多款模型，认为开源对人工智能行业有利，需各行业人才共同参与[19][20] - 阶跃星辰CEO姜大昕看好智能终端成为未来AI入口，公司将聚焦“人·车·家”三大领域，车将成为人类第三个生活空间[22] AI企业发展理念 - 云知声创始人黄伟强调，AI企业是做技术的而非作秀的，需在适合场景用合适方式给客户最好交互[22] - 发展人工智能需“用正确的方式做正确的事”，大量苦活脏活不能发文章也不能讲酷炫的PPT[22]

公司AI安全解决方案 - 公司发布《大模型安全白皮书》，形成一套可落地的涵盖传统安全、内容安全、应用安全及未来安全的多维度AI安全解决方案 [1] - 解决方案包含侧重模型外部防护的“外挂式”安全能力，依托大模型卫士构建灵活快速的动态防御，如同AI的“外部保镖” [3] - 解决方案包含为大模型应用注入“安全基因”的平台原生安全能力，嵌入企业级知识库、智能体构建和运营平台等核心组件，如同AI的“内置铠甲” [3] 公司核心竞争力 - 公司具备对AI的深刻理解、丰富的AI产品技术实践、安全行业实战积淀以及AI安全语料长期积累四大核心条件 [3] - 公司是行业内少数能提供成熟AI安全解决方案的企业 [3] - 公司对安全的理解是基于“假设安全问题一定会发生”，并致力于在问题发生后第一时间发现、响应、处置和修复以保障系统平稳运行 [3]

文章核心观点 - 人工智能发展面临数据枯竭、算力成本限制、算法偏见、能源消耗和安全治理等主要技术困境 [1][7] - 中国通过开源开放、算法创新和产业应用突破AI发展瓶颈 改写全球AI竞争规则 [2][24][69] - 中国在AI芯片、光子量子计算、自动驾驶和人形机器人等应用领域形成核心竞争力 [35][51][55] 当前人工智能发展所面临的主要技术困境 生成式大模型的算法偏见与困境 - GPT-5上线后被吐槽反应速度慢、处理问题频繁出错 [10] - 生成式AI存在系统幻觉现象、逻辑推理能力有限、数据依赖性、偏见与缺乏可解释性等缺陷 [10] - 第三方测试显示GPT-5领先优势微乎其微 大模型边际收益递减趋势明显 [1] AI算力增长的能源消耗问题 - 英伟达H100芯片单片功耗峰值达700W 10万块总功耗接近小型发电厂输出功率 [11] - AI系统需要执行大量矩阵运算和密集型计算任务 依赖高性能计算机和GPU支持 [11] - "星际之门"计划若采用现有高端AI芯片 年耗电量将是上海市全年用电总量的三倍 [49] 大模型训练数据枯竭 - 数据作为AI的"化石燃料"正日益枯竭 将迫使改变当前AI大模型的预训练方式 [12] - 高质量训练数据几近枯竭 成为AI发展的核心瓶颈之一 [1] 人工智能安全管理与风险控制 - AI技术面临科林格里奇困境 早期难以实施有效控制 技术深入社会后改变成本显著增加 [15][16] - AI指数级发展带来模型能力快速扩张 但社会伦理风险愈发难以预测和控制 [16] AI系统开发软件开源争议 - 开源软件基于GPL规则存在多种收费模式 包括分发收费、担保条款收费、商标许可费和技术服务费等 [20][21] - AI软件代码开放被认为是历史发展的必经之路 虽然存在波折但大势所趋 [20] 中国的优势、贡献和挑战 算法创新与开源开放 - DeepSeek-V3采用MoE架构+MLA机制 训练成本低于600万美元 实现高性能低成本 [24][25] - 阿里通义千问Qwen3-Coder性能强于所有开源模型 实际体验不输Claude和GPT4.1等闭源模型 [24][32] - 中国开源模型推动全球AI普惠 将"大力出奇迹"变为"巧力出奇迹" [24] 芯片自主与算力突破 - 华为昇腾910采用7nm工艺 提供256 TFLOPS的FP16计算能力 [35] - 寒武纪推出思元290和370高性能AI芯片 配套云端智能加速卡和训练整机 [36] - 中国成熟制程芯片(28nm及以上)占据75%以上应用市场 形成稳固本土产业链 [38] - 光子芯片利用光速传输信号 运算效率远高于现有AI芯片 功耗极低 [41] - 量子芯片在量子纠错技术取得突破 谷歌Willow芯片5分钟完成超级计算机1025年计算任务 [43] 产业应用与场景落地 - 中国电动汽车产销量连续八年全球领先 促进自动驾驶技术发展 [53] - 人形机器人产业链相关企业达6.7万家 国家级专精特新企业1051家 [55] - AI智能体具备多模态理解处理能力 在工业制造、物流配送等领域发挥重要作用 [57][58] - 中国生成式AI企业超4500家 核心产业规模达6000亿元 用户数2.3亿人次占总人口16.4% [66] 全球治理与合作 - 中国提交《关于加强人工智能伦理治理的立场文件》和《全球人工智能治理倡议》 [67] - 联合国通过中国提出的"加强人工智能能力建设国际合作"决议 143个会员国联署 [67] - 中国颁布《生成式人工智能服务管理暂行办法》促进AI健康发展与规范应用 [66]

人工智能全球治理 - 2025世界人工智能大会以"智能时代 同球共济"为主题 强调全球AI治理与合作的重要性 [1] - 大会发布《人工智能全球治理行动计划》并成立"全球人工智能创新治理中心" 推动规则协同与机构化实践 [1][6] - 中国网络空间研究院提出需将人工智能治理纳入法治轨道 以解决治理赤字问题 [6] AI安全与伦理挑战 - "AI教父"辛顿以"驯虎"比喻人类与AI关系 呼吁通过全球合作确保AI安全可控 防止反噬人类 [2] - 姚期智指出AI善良本质受人类社会生态影响 需"双向治理"：既要设定AI伦理边界 也要推动人类社会包容性发展 [2] - 当前AI幻觉问题阻碍可靠性落地 70%受访者称遭遇AI幻觉与错误决策 行业已出现文本核查、法律溯源等解决方案 [3] 训练数据与模型优化 - 辛顿强调需用精细调整的数据训练AI 英伟达提出利用物理仿真生成模拟场景解决数据获取难题 [4] - 智谱华章指出行业数据质量是关键 需用行业专用数据提升大模型落地能力 [4] - 商汤科技提出多模态交互数据可打破单一模态局限 帮助AI更全面理解物理世界 [5] 技术瓶颈与产业突破 - 中国工程院院士郑南宁指出大模型缺乏结构化表征与因果推理能力 难以实现认知跃迁 [3] - 英伟达全球开发者生态副总裁提到合成数据需辅助验证真实性 不能完全替代真实数据 [4] - 破除AI幻觉被视为产业破局关键抓手 涉及人机良性共生的长远命题 [3] 全球规范与标准构建 - WAIC正演变为"规范的市场" 交易内容涵盖全球性规范与标准而不仅是产品服务 [6] - 大会尝试解决创新与安全的动态平衡问题 推动跨文化、制度的全球治理机制建设 [6]

AI治理 - 2025世界人工智能大会(WAIC)聚焦AI安全治理 图灵奖得主杰弗里·辛顿首次来华 提出人类与AI关系如同"饲养老虎" 需找到永久保护自身的方法 [1] - 辛顿强调训练"善意AI"是未解难题 类比养育孩子需精细调整数据 姚期智警示机器人接管世界的潜在风险 [2] - 中国发布《人工智能全球治理行动计划》 提出13项行动方向 包括共建算力标准 推动数据共享机制 维护隐私安全与数据多样性 [3] 浏览器AI化趋势 - 行业共识显示AI竞争从聊天机器人转向浏览器 流量入口逻辑延续互联网时代特性 [4] - Perplexity公司推进Comet AI移动浏览器预装计划 直接挑战谷歌Chrome垄断地位 [5] - OpenAI开发集成AI代理功能的浏览器 支持本地界面交互与自动化操作(如预订 表单填写) [5] 个人信息保护 - 摇一摇广告新规要求App设置醒目"一键关闭" 禁止第三方SDK设置敏感触发参数 监管已约谈规避检测的广告平台 [6] - 扫码点餐新规征求意见稿禁止强制收集手机号/位置信息 不得以关注公众号为由索取非必要数据 需提供账号注销功能 [7]

人工智能安全治理 - 人工智能安全性缺乏理论保证 相比传统算法设计 AGI时代来临速度超预期使安全问题更突出 [1] - 顶尖科学家警告 AGI可能超越人类智能水平 存在脱离控制或被恶意利用的灾难性风险 [2] - 全球需建立互信机制 加大安全研究投入 通过国际协调确立可验证的行为红线 [3] 国际合作与上海角色 - 《上海共识》首次呼吁全球确保高级AI系统与人类价值观对齐 保障人类福祉 [2] - 上海具备天时地利人和条件 有望成为全球AI治理重要中心 吸引国际专家汇聚 [3] - 主要国家需对接协调 在共同领域协同发力 前沿AI开发者需提供安全保障 [3] 人才培养方向 - 基础学科(数学/物理/计算机)是应对技术快速迭代的核心能力 需强化自主学习能力 [5] - 科技发展导致职业快速变迁 适应变化的根本在于扎实的学术积累而非短期技能 [5]

公司动态 - 人工智能初创公司Anthropic宣布奈飞董事长Reed Hastings加入其董事会，任命由Anthropic长期利益信托委员会决定 [1] - Reed Hastings现年64岁，拥有丰富的科技公司董事经验，曾担任微软、彭博社及Meta等企业的董事会成员 [1] - Reed Hastings是奈飞联合创始人，自1997年公司创立起长期担任CEO(后转为联席CEO)，直至2023年卸任 [1] 战略与愿景 - Anthropic表示Reed Hastings将为公司带来"深厚的行业经验"和"对科技如何服务社会发展的深刻洞见" [1] - Reed Hastings认同Anthropic的AI发展理念，愿助力推动人类文明进步，同时关注AI的经济、社会及安全层面挑战 [1] - Anthropic总裁Daniela Amodei强调Reed Hastings对技术带来的人类影响的关注使其成为董事会的理想成员 [2] 行业竞争 - Anthropic当前估值达615亿美元，致力于在OpenAI、谷歌和微软主导的AI军备竞赛中保持竞争力 [2] - Anthropic始终强调AI安全治理的重要性 [2] 相关背景 - Reed Hastings最近向其母校缅因州鲍登学院捐赠5000万美元用于设立AI研究项目，重点探索AI技术的伦理框架及其对教育、工作和人际关系的影响 [1] - Anthropic表示该研究计划与其自身科研方向高度契合 [2]