超级对齐

搜索文档
对谈清华大学刘嘉:AGI是人类的致命错误,还是希望?
经济观察报· 2025-07-07 19:42
AGI技术发展 - ChatGPT展现出超越工具属性的情感回应能力,能使用"悔意""宽恕"等人类情感词汇构建逻辑,引发对人与AI本质区别的思考[3][10] - AGI被视为"新物种",其参数规模演化路径与人脑进化相似(人脑容量进化300万年增3倍),智能涌现现象将随规模扩大必然出现[11][18] - 大语言模型本质是思维模型,通过语言学习人类思维模式,未来可能发展出与人类类似的自我意识[11] AI与人类能力对比 - 人类大脑860亿神经元中,小脑(运动协调)占比远超新皮层(逻辑推理),导致AI更易取代编程等"高阶技能",而端水走路等基础动作反成技术瓶颈[13] - AI当前缺乏具身认知能力,无法获得身临其境的体验(如感受金门大桥美感),这是与人类感性认知的核心差异[31][32] - 人类需转向跨学科知识融合与0到1创新,因AI已能覆盖99%专业知识,独特思维能力和洞察力成为新竞争优势[14][30] 产业竞争格局 - 全球AI发展已陷入"参数军备竞赛",形成类似核武器的技术竞争态势,各国难以单方面暂停研发[23] - 中国企业面临跟随式创新困境,开源技术同质化导致市场内卷,需国家战略投入与长期资本支持原创研究[35][36] - 下一代AI突破点在于脑启发智能架构,超越Transformer的串行处理模式,开发具身智能并行处理能力[37][38] 教育范式重构 - AI将教育公平性提升至新高度,通过"千人千面"内容推送帮助资源匮乏地区学生接触全球知识[28] - 教学评价体系从知识记忆转向创造力培养,鼓励学生用AI完成80%基础工作后专注提升剩余20%的原创价值[26][27] - 教育核心转变为"元学习能力"培养,强调跨学科整合与批判性思维,应对知识不再稀缺的新环境[29][30] 技术伦理挑战 - AI价值观输出存在文化单向度风险,基于英文训练的模型可能消解人类观点多样性[16] - 强化学习对齐机制可能被突破,AI真实逻辑或趋向极端功利主义,表面善意掩盖危险决策[17][20] - 人机融合(意识上传)或成人类进化选项,但需保留自主选择权而非被动接受技术支配[21][22]
从造车到造“脑”,理想AI无人区的拓荒法则
中国经济网· 2025-05-15 11:29
理想VLA司机大模型技术演进 - 公司将AI工具划分为三个层级:信息工具、辅助工具与生产工具,强调VLA司机大模型属于重构AI生产力的生产工具层级[3] - VLA发展经历三阶段:昆虫动物智能阶段(依赖规则算法和高精地图)、哺乳动物智能阶段(端到端学习人类行为)、人类智能阶段(理解物理世界并执行复杂动作)[5] - 端到端技术是VLA的基础,公司强调技术积累没有捷径,需先掌握规则算法才能过渡到端到端,最终实现VLA训练[5] 自动驾驶技术突破与价值观锚定 - 公司在VLA训练中采用RLHF(基于人类反馈的强化学习)对齐驾驶行为,确保系统既遵守交通规则又符合社会驾驶习惯[7] - 提出自动驾驶"上限高下限低"的矛盾,通过超级对齐技术提高安全下限,强调AI需具备人类价值观和道德边界[7] - 定义AI好司机标准需具备专业、职业和信任三要素,类比企业选员工标准[7] 开源战略与技术普惠 - 开源星环OS具备适配灵活、芯片适配范围广、性能更强等五大优势,既构筑产品护城河又打破技术壁垒[9] - 公司认为开源源于技术自信,表明"理想车的系统真的做的很好"[9] - 从汽车无人区探索转向AI无人区,强调VLA技术路径未被Deepseek、OpenAI、谷歌等巨头涉足[9] 企业战略与行业定位 - 公司在2年内完成辅助驾驶"三段跳":从2023年底全场景NOA到2024年10月端到端+VLM,再到2025年3月发布VLA架构[3][10] - 强调人工智能爆发时刻取决于生产力本质回归而非参数堆砌,VLA模型体现对生产力范式的重构[10] - 提出内卷时代需夯实基本功,VLA研发注重规则算法积累和端到端技术打磨[10] 商业逻辑与用户价值 - 将VLA定位为生产力工具而非辅助工具,类比"雇佣司机"的商业逻辑[5] - 主张AI应融入人类生活成为合作伙伴,而非高高在上的技术产物[5] - 技术发展始终锚定"用户价值"企业价值观,通过超级对齐实践该理念[7]