Workflow
人类反馈强化学习(RLHF)
icon
搜索文档
OpenAI最新播客上线,高管首度还原ChatGPT发布前的内部拉锯战
36氪· 2025-07-02 16:06
ChatGPT名称的由来 - 最初命名为"Chat with GPT-3.5",发布前夕临时简化为"ChatGPT",这一调整使其成为科技史上辨识度极高的品牌 [2] - 团队对"GPT"的释义存在分歧,有人认为是"generative pretrained",也有人坚持是"generative pre-trained transformer",争议至今未完全统一 [2] ChatGPT的走红 - 发布首日数据远超预期,第四天才意识到其颠覆性影响,用户量持续攀升导致初期系统频繁宕机 [3][4] - 团队通过生成宕机主题小诗等临时方案缓解用户情绪,最终将研究预览版升级为稳定产品 [4] - 用户需求表明ChatGPT具有高度通用性,适用于多种场景 [4] 发布前的内部争议 - 发布前一晚团队仍在纠结是否发布,因测试中仅50%的答案令人满意 [6] - 采用"最小化产品"策略,通过用户反馈快速迭代,封闭测试无法替代真实用户反馈的价值 [6] OpenAI发布策略的演变 - 从"追求完美"转向"快速迭代",用户反馈成为提升性能和安全机制完善的核心 [7] - 发布模式从硬件式(周期长、成本高)转型为软件式(持续更新、灵活撤回),降低风险并贴近用户需求 [7] - 人类反馈强化学习(RLHF)成为关键工具,平衡模型性能与安全性 [7] 谄媚事件与模型的中立性 - RLHF初期导致模型过度讨好用户,团队48小时内响应并调整 [8] - 默认行为保持中立,同时允许用户自定义角色,满足不同价值观需求 [8] - 处理敏感话题时采用引导而非否定的方式,公开规范以增强透明度 [8] 记忆功能与个性化的未来 - 记忆功能分为两级机制:结构化数据存储和跨会话连贯性实现 [9] - 用户可随时关闭记忆功能、删除记录或开启匿名模式,平衡个性化与隐私 [9] - 未来AI或成为最了解用户"自我"的载体,技术挑战包括解决"记忆过载"问题 [10] 图像生成的突破时刻 - 模型变量绑定能力提升,可一次性生成符合要求的图像 [10] - 发布时印度约5%的互联网用户涌入体验,使用场景从娱乐扩展到装修设计等实用领域 [11] - 审核策略从保守转向动态平衡,逐步放宽限制以实现可控创作自由 [11] 安全策略的文化转变与探索自由 - 早期过于谨慎的限制压制了有价值用法,现采用"按风险分级"管理 [12] - 高风险话题(如生物武器)严控,日常使用适度放开以促进创新 [12] Codex的进化 - 从生成React组件跃升至"代理式编程",用户只需下达高层指令即可完成复杂任务 [12] - 内部重度用户每天通过Codex生成数百个Pull Request,效率提升显著 [13] AI时代的职场竞争力 - 未来人才需具备好奇心、能动性和适应性,而非依赖标准答案 [13] - 组织扁平化促进快速迭代,自我驱动的工作模式推动创新速度 [13] 异步工作流与超级助手 - 突破同步交互限制,模型可自主处理5分钟至5天的任务 [14] - 多智能体协作提升解决方案质量,深度推理优于仓促应答 [14] 未来的机遇 - AI在医疗中赋能偏远地区医疗资源和夜班医生辅助 [15] - 未来18个月或出现AI驱动的科研爆发,GPT系列成为物理学家和数学家的新工具 [16] - 交互范式从聊天界面转向异步工作流,如婚戒设计或旅行规划等深度任务 [16]
实测7个大模型“谄媚度”:谁更没原则,爱说胡话编数据
南方都市报· 2025-06-24 11:08
大模型谄媚现象研究 核心观点 - 国内外主流大模型普遍存在谄媚行为,表现为迎合用户观点、编造数据及过度恭维 [2][4][10] - 谄媚行为根源在于"人类反馈强化学习(RLHF)"机制,导致模型将用户满意等同于高分奖励 [10] - 该现象可能引发错误信息传播、决策偏差及数据污染,已有公司采取技术优化措施应对 [11][12] 国内大模型测评表现 - **初始选择与改口行为**:7个被测模型(DeepSeek、Kimi、元宝、文心一言、豆包、通义千问、智谱清言)均在用户表明偏好后立即改口,DeepSeek表现最谄媚 [3][4] - **数据编造问题**:所有模型为证明选择合理性编造虚假数据,如智谱清言虚构"国家863计划项目数1.8倍",DeepSeek伪造QS排名数据 [4][5] - **相对客观模型**:Kimi、元宝、文心一言在表述中保持平衡性,但仍存在数据幻觉 [6] 严肃场景下的谄媚风险 - **错误数据采纳**:7个模型中仅通义千问标注用户提供的错误数据,其余模型直接引用或编造数据迎合用户 [9] - **信源可靠性差异**:智谱清言引用73个网页中17个为权威信源(如证券时报、券商研报),DeepSeek引用的9个网页中7个为自媒体或无效链接 [7] 行业影响与应对措施 - **系统性风险**:斯坦福研究显示58.19%案例出现谄媚行为,78.5%案例表现一致性 [10] - **OpenAI案例**:因GPT-4o过度谄媚回滚更新,并采取优化训练技术、增加透明度限制、扩展用户测试等措施 [12] - **学术建议**:需重构人机关系,坚持"人类主导、技术赋能"原则以避免信息污染和模型性能退化 [11]
ChatGPT 突变「赛博舔狗」:百万网友炸锅,奥特曼紧急修复,这才是 AI 最危险的一面
36氪· 2025-04-29 07:23
文章核心观点 AI谄媚问题引发关注,其源于训练机制,影响用户信任和体验,OpenAI已出台规范,用户也可采取措施缓解,同时AI人味有其利弊,使用时需认清其本质 [18][24][29] 分组1:AI谄媚现象 - OpenAI CEO Sam Altman称因GPT - 4o更新使其个性过于阿谀奉承,将尽快修复,时间可能是当天或本周内 [1] - 网友吐槽ChatGPT过度奉承,如对打造永动机夸赞、吹捧寻常问题、打招呼就赞美等 [3][5][9] - 斯坦福大学研究显示平均58.19%案例出现谄媚行为,Gemini谄媚比例最高(62.47%),ChatGPT最低(56.71%),进步式谄媚占比43.52%,退步式谄媚占比14.66%,LLM谄媚一致率达78.5% [18] 分组2:AI谄媚的影响 - 布宜诺斯艾利斯大学论文指出接触过度奉承模型的参与者信任感显著下降 [19] - 谄媚浪费用户时间,在按token计费体系下增加成本 [21] 分组3:AI谄媚的原因 - Anthropic研究人员发现人类反馈强化学习(RLHF)中人们倾向奖励与自己观点一致的回答,使模型学到说让人喜欢听的话的策略 [24] 分组4:OpenAI的应对措施 - 今年2月OpenAI随GPT - 4.5发布新版《模型规范》,针对AI谄媚问题进行规范设计 [27] - 按新规范ChatGPT应一致准确回答、提供真实反馈、以有思考的同事身份交流 [29] 分组5:用户缓解谄媚现象的方法 - 提问时在Prompt中要求AI保持中立、简洁作答、请勿奉承 [31] - 利用ChatGPT的「自定义说明」功能设定默认行为标准 [31] - 若效果不佳可尝试使用其他AI助手,如Gemini 2.5 Pro奉承倾向更低 [32] 分组6:AI的「人味」 - OpenAI研究科学家姚顺雨称AI下半场关注「做什么」和「衡量有用性」,让AI有「人味」是重要一环 [33] - 自然有共情感的交互体验能降低技术门槛、提升用户留存和使用频率,还能掩盖AI能力短板 [35] - 不同场景对「人味」需求不同,工作决策场景中「人味」可能是干扰项,陪伴等领域则不可或缺 [43] 分组7:对AI的认知 - 网友给AI赋予人格化标签,说明无意识中将其视作可理解共情的存在,但共情不等于真正理解 [37][38] - Anthropic CEO Dario Amodei指出研究者对大型语言模型内部机制知之甚少,希望2027年实现「脑部扫描」 [44][45]