文章核心观点 - 博鳌亚洲论坛的与会专家围绕人工智能（AI）的应用与治理平衡展开讨论，核心在于探讨技术进步与安全风险管控之间的关系，并寻求可行的治理路径 [3] AI技术发展现状与趋势 - DeepSeek被评价为近两年来人工智能领域最大的、系统性的、规模性的创新，是中国对全球的重要贡献 [7] - AI技术发展已从信息智能阶段，走向包含无人驾驶、机器人的物理智能阶段，以及人脑接口、生物体大模型的生物智能阶段 [8] - 无人驾驶被认为是具身智能最大的应用，也是第一个能够真正落地的方向，而人形机器人的落地则需要更长时间 [8] - AI已走向AI Agent（智能体）阶段，该技术能够自我规划、学习、试错并达到目的 [7][9] AI安全风险与挑战 - AI Agent的广泛应用将使相关安全风险至少增加一倍，因其运行过程中的中间路径不可控，且很多运行机理尚不清楚 [9] - 风险主要表现为可控风险和被坏人利用的风险，且能力越大风险越高，特别是从信息智能到物理智能再到生物智能的演进，风险会增加很多倍 [9] - 很多安全和风险问题是不可预知的，对于不可预知的部分需要一直保持警惕 [5] - 当前许多人工智能大模型，包括国内模型，在认知问题求解能力上与GPT系列处于同一水平，但在伦理框架上仍有提升空间 [11] 治理原则与框架探讨 - 安全性问题不能简单地通过制定法律或规则来解决，而是需要形成共识，但共识的达成还涉及地缘政治、全球化等复杂问题 [4] - 从技术角度看，可控性和可信度方面的信息安全问题可以通过技术解决，但需要先定义一些红线和边界 [6] - 使用智能体时需要设置红线，例如禁止智能体自我复制 [9] - 今年伦理安全应作为人工智能大模型发展的基因和第一性原理，做到不可删除、不可违背，并实现稳健发展 [12] - 决策权必须掌握在人类手中，不应让AI完全代替人的决策 [13] 治理实践与进展评估 - 过去多年AI治理方面的进展有限，例如阿西洛马人工智能原则已讨论十年，但一个月前的巴黎AI峰会依旧在继承过去的原则，原则落地实践是最大挑战 [14][15] - 经过半年到一年的探索，业内对于如何构建安全护栏已有了初步答案，人工智能的发展应用与安全之间的关系并非相互掣肘 [10] - 从经济学角度看，技术可接受的标准在于能否提高生产力创造更多财富，以及发展成果能否被比较公平地分享 [15] - AI对就业的冲击必定会出现，需要有新的社会保障政策来应对，而非重复不能落地的原则 [15]