Workflow
局部最优
icon
搜索文档
像大模型一样进化
腾讯研究院· 2026-01-05 16:44
人工智能发展历程与核心驱动力 - 大模型的成功是技术长期演化的结果,经历了从早期符号主义AI失败到深度学习崛起,再到Transformer成功的艰难历程[1] - 人工神经网络的目标函数宏大,旨在模拟大脑信息处理乃至实现通用人工智能,其开创性工作曾被视为疯狂[3] - OpenAI训练GPT的目标函数是使用巨大神经网络容纳所有人类知识以实现AGI,GPT-4已将几乎全部人类知识压缩进1.8万亿个参数[4] 规模化法则与目标设定 - 人工神经网络的成功背后是规模化法则,即参数规模越大,优化空间越广,实现目标的可能性越大[4] - 设定短期狭隘的目标函数容易实现,但可能导致模型陷入“局部最优”陷阱,限制了更广阔的发展空间[4] - 公司应避免陷入“局部最优”,即满足于阶段性成就而丧失长期发展机会,需设定宏大且持续演进的目标函数[4][6] 注意力机制与信息处理 - Transformer架构的核心是注意力机制,它通过评估文本中词语间的关联强弱来捕捉信息关系,实现高效精准的信息处理[19] - 注意力分配是学习的本质,高质量的数据输入至关重要,遵循“垃圾输入,垃圾输出”的第一性原理[20] - 公司应像AI一样,将注意力集中在高质量的数据和信息源上,以构建坚实的认知基座[20][21] 学习与优化方法论 - 随机梯度下降是广泛使用的优化算法,其原理是通过当前误差找到大致正确的方向并迈出一小步,逐步优化模型参数[10] - 大模型通过“预测→计算误差→反向传播→优化参数”的循环流程从错误中学习,所有知识和能力由此获得[11] - 大脑的预测编码机制与梯度下降异曲同工,通过预测与现实的差异产生误差信号,驱动学习和认知更新[12] 随机探索与认知发展 - 随机梯度下降的核心魅力在于能从不确定中找到确定性,无需执着于精确规划每一步,而应找准大致方向并坚持行动[13] - 起点(如家境、学历)对于梯度下降算法并不重要,关键在于持续沿着梯度方向前进[14] - 随机探索(如阅读陌生领域、与不同人交流)能避免陷入认知的局部最优,带来新的误差和认知增益,推动认知结构重构[15][16] 实例学习与归纳教学 - 联结主义AI通过海量实例(如图片)让神经网络自行探寻模式规律,效果优于符号主义AI直接灌输规则的方法[22] - 范例教学(归纳式教学)主张通过提供精选样例让学生主动归纳规则,这种方法能加深理解并促进知识迁移[23] - 在复杂生活场景中,抽象道理(预训练知识)不足以为决策提供直接指导,需要通过具体情境中的实践进行微调和强化学习[24][25] 选择性遗忘与注意力管理 - 人类超越大模型的关键能力之一是“选择性遗忘”,即有意识地强化重要记忆并主动遗忘低效或有害信息[25] - 选择性遗忘是一种认知优化策略,通过“先做加法,再做减法”的思维模式,使注意力聚焦于核心价值[25] - 接纳过去的不愉快经历并主动进行情绪上的选择性遗忘,能让注意力回归当下,重获内心的平静与自由[26]
别让成功的惯性“锁死” 未来
36氪· 2025-09-25 08:51
路径依赖现象 - 用户习惯依赖特定导航APP、报告模板和消费品牌 本质是对过往经验的依赖[1] - 电脑键盘QWERTY布局因用户习惯难以被更高效的DVORAK布局替代 后者可使打字速度提升30%以上[2] - 视频行业普遍采用MP4格式而非更先进的MKV、AV1格式 因设备兼容性和用户学习成本阻碍新技术普及[2] 商业案例表现 - 诺基亚过度依赖传统手机成功经验 未能及时转型智能手机导致市场地位丧失[3] - 柯达因对传统胶卷业务成功依赖 未大力发展数码技术最终走向衰落[3] - 企业依赖旧商业模式难以转型 管理者沿用过期激励机制管理新世代[3] 形成机制分析 - 路径依赖源于报酬递增机制 企业成功后会加大投入形成正反馈[5] - 转移成本包括经济成本、心理成本和组织成本 阻碍企业改变原有路径[5] - 大脑基于经验预判世界 通过"预测编码"理论验证猜测 逐渐强化经验依赖[6] - 成功归因偏差使企业将成功归因于方法本身 而忽略场景匹配的关键作用[6] 局部最优陷阱 - 决策时易被当下最优选择吸引 忽略进一步探索可能获得更优结果[7] - 爬山算法比喻显示 每一步局部最优可能无法达到全局最高峰[7] - 基层岗位熟练者不愿学习新技能 行业技术革新时因缺乏积累难以转型[9] - 职业探索中选择最容易转成功的岗位 导致始终在熟悉领域打转[9] 结构锁定效应 - 操作系统积累用户后形成应用生态 开发者被迫围绕其开发 despite更高效系统存在[10] - 企业数据架构偏离提升效率初衷 但因牵一发而动全身只能维持运转[10] - 结构锁定磨灭对长期价值的耐心 使企业无法忍受短期无反馈状态[10] 突破路径方案 - 主动引入扰动打破经验惯性 每月尝试跨领域交流、探索新技能或开启副业[12] - 在选择节点关注步骤是否拓宽未来选择空间 而非仅追求最快回报[13] - 定期从愿景反推路径 以全局地图参照审视是否困在局部高地[13] - 培养可迁移能力包括学习能力、系统思维能力和共情能力[14] - 第二曲线思维要求主业成功时即探索新方向 而非被动转型[14] - 提炼能力底层逻辑 掌握"为什么这么做"而非仅"怎么做"[15]
别让成功的惯性“锁死” 未来 | 创业Lifestyle
红杉汇· 2025-09-25 08:04
核心观点 - 企业在发展过程中容易陷入路径依赖和成功依赖,即过度依赖过往的成功经验和既定模式,当外部环境、市场需求或技术发生变革时,这种惯性会从优势转变为阻力,阻碍创新与转型 [4][6] - 路径依赖在认知上类似于机器学习中的“过拟合”现象,即对过去特定场景的解决方案掌握过精,却未能理解底层通用规律,导致无法适应新变化 [6] - 企业应通过主动求新、从愿景反推路径以及培养可迁移能力等策略,打破思维定式,避免被结构性锁定,以在快速变化的商业世界中保持竞争优势 [15][16][18] 路径依赖的表现与案例 - 商业案例显示,诺基亚因过度依赖传统手机领域的成功经验和技术路径,未能及时转型智能手机,最终错失市场机遇 [4] - 柯达作为胶卷行业巨头,因对传统业务的成功依赖,未大力发展数码业务,最终走向衰落 [4] - 行业普遍现象包括:管理者沿用过时激励机制管理新世代员工,品牌用上一代逻辑猜测新消费群体需求 [4] 路径依赖的成因 - 经济学角度:路径依赖形成源于报酬递增(成功模式带来更多投入与收益的正反馈)和转移成本(改变路径所需的经济、心理及组织成本过高) [6] - 认知科学角度:大脑基于经验进行“预测编码”,倾向于用个人认知加工现实,并会下意识将成功归因于方法本身,而忽略方法与场景匹配的关键作用 [7] - 个人特质因素:过度依赖及时反馈、追求确定性的人,在面对复杂新问题时更倾向从过去找答案,而非构建新模型 [8] 局部最优陷阱 - 局部最优指决策时容易被眼前可见的最优选择吸引,却忽略了通过进一步探索可能获得的更优结果,例如在熟悉岗位上得心应手而不愿学习新技能,导致行业革新时转型困难 [10][11][12] - 该思维在非线性系统中尤为危险,因不考虑全局路径结构、不允许暂时退步,最终导致结构性锁定,如成熟操作系统生态使开发者难以适配新系统,复杂企业数据架构因牵一发而动全身而难以优化 [12] 突破路径依赖的策略 - 主动求新:为系统引入扰动,例如每月尝试舒适区外的事、打破固定习惯,以跳出局部陷阱 [16] - 从愿景反推路径:定期更新并审视目标,以“全局地图”为参照,避免错把局部安稳当作全局终点 [16] - 培养可迁移能力:包括学习能力(快速理解新领域逻辑)、系统思维能力(分析整体业务链路)、共情能力(理解用户与团队需求)及第二曲线思维(主业成功时即探索新方向) [18]