哈喽，大家好，我是小玖。 最近美国能源圈出了件颠覆认知的事。 密歇根湖东岸的帕利塞兹核电站，2022年还因为亏本运营黯然关闭。 可短短三年后，这里就挤满了检修工人，机器轰鸣声昼夜不停。 按照计划，它将在2026年初重新发电，成为美国史上第一座"死而复生"的核电站。 这可不是闹着玩的，一座运转半个世纪的老电厂，凭啥突然被拉回"阳间"？ 小玖给大家拆解下AI的"耗电真相"。 训练一个顶尖大模型，数万个GPU得24小时满负荷跑好几个月，这是稳定到吓人的"电力吞金兽"。 而我们刷AI聊天、用图像生成，单次耗电虽少，全球数十亿次请求加起来，能耗堪比中小国家的用电 量。 从弃核到抢核的180度大转弯 帕利塞兹核电站的关闭，曾是美国核电行业的缩影。 运营成本高、民众顾虑多，2022年关闭时，没人觉得它还有重启的可能。 可谁也没料到，AI的爆发式增长会掀起一场电力"饥荒"。 国际能源署的数据显示，过去5年全球数据中心用电量每年增长12%，到2030年需求将翻番，达到945太 瓦时，比现在日本全年用电量还高。 化石能源环保不达标，唯独核电能全年无休供电，还零碳排放。 更关键的是经济账变了。以前核电因为初始投资高被嫌弃"太贵"， ...

视觉强化学习综述 核心观点 - 该综述对视觉强化学习（VRL）领域进行系统性梳理，整合200+篇研究成果，提出四大主题支柱：多模态大型语言模型、视觉生成、统一模型框架和视觉-语言-动作模型，并分析算法设计、奖励工程及评估协议 [5] - 强调强化学习在视觉任务中的关键作用，包括跨模态对齐、长序列优化及可验证奖励设计，同时指出开放挑战如推理效率、长视野信用分配等 [47] 研究框架 强化学习范式 - **RLHF（基于人类反馈的强化学习）**：通过三元组偏好数据训练奖励模型，结合PPO优化策略，三阶段流程（监督预训练→奖励建模→策略优化）成为主流 [10] - **DPO（直接偏好优化）**：绕过奖励建模环节，直接通过封闭式监督目标优化策略，降低计算成本 [11] - **RLVR（带可验证奖励的强化学习）**：用确定性验证信号（如代码测试结果）替代人类偏好，提升客观性 [12] 策略优化算法 - **PPO（近端策略优化）**：通过重要性采样和广义优势估计实现稳定策略更新，依赖精确奖励模型 [15] - **GRPO（群体相对策略优化）**：利用群体归一化优势信号替代价值网络，降低内存消耗并提升训练稳定性 [16] 应用领域 多模态大型语言模型 - **传统方法**：通过GRPO/PPO将视觉-语言模型与可验证奖励对齐，如RePIC、GoalLadder等 [17] - **空间感知**：2D任务（目标检测、分割）和3D任务（布局推理）均采用规则驱动奖励和KL正则化微调 [18] - **视频推理**：分层奖励设计（如VQ-Insight）和时间衰减回报（如TW-GRPO）解决长序列挑战 [20] 视觉生成 - **图像生成**：DiffPPO等结合扩散模型与感知奖励（如ImageReward），提升生成质量 [21] - **3D生成**：DreamCS等通过渲染-比较循环优化几何结构，强化学习实现标准方法难以达到的保真度 [24] 视觉-语言-动作模型 - **GUI自动化**：规则驱动奖励（如GUI-R1）和群体归一化更新（如UIShift）推动跨平台交互 [28] - **视觉导航**：OctoNav-R1等结合第一人称视觉与低级动作控制，通过混合强化学习管道提升泛化性 [29] 评估体系 - **多模态模型**：结合外部基准（如MME）、人类偏好奖励和KL散度监控 [35] - **视觉生成**：FID/CLIP Score等传统指标与去噪轨迹诊断结合 [36] - **GUI任务**：在线成功率与逐步奖励设计（如Mind2web）平衡稀疏信号问题 [39] 未来方向 - **自适应推理**：通过终止评论者动态平衡深度与效率 [43] - **长视野优化**：子目标发现与对比视觉-语言评论者缓解稀疏奖励问题 [44] - **奖励模型设计**：需开发抗攻击、跨模态且用户可定制的综合奖励函数 [46]