Workflow
密度法则(Densing Law)
icon
搜索文档
告别“对讲机”时代:面壁智能给 AI 装上了“神经末梢”
AI科技大本营· 2026-02-05 12:08
文章核心观点 - 行业正从追求云端大模型的“暴力美学”转向追求端侧小模型的“密度法则”,以实现低延迟、高隐私和强实时交互的“具身智能”[4][16][21] - 面壁智能通过发布仅9B参数的全模态模型MiniCPM-o 4.5和硬件开发板“松果派”,旨在定义“模型原生”的端侧智能标准,构建生态基础设施[19][25][31] - 解决“1Hz”的高层智能决策与“10Hz”的低层运动控制之间的断层,是推动机器人等具身智能设备走向实用的关键[34][35][37] 行业痛点与趋势转变 - 当前火热的Agent(如OpenClaw)存在根本缺陷:本质是将本地隐私数据打包发送至云端处理,导致延迟、隐私泄露和断网即失效三大问题[2][3] - 行业狂热追捧云端大模型和Agent概念的同时,一个被忽视的痛点是:AI若想真正接管生活,其“大脑”需要位于本地设备(端侧)[3][4] - AI交互需从“云端的神谕”转变为“指尖的直觉”,从“回合制”的对话模式转向“全双工”的实时自然交互[4][5][6] 技术突破:全双工交互与感知不中断 - 面壁智能的MiniCPM-o 4.5实现了“全双工”交互,打破了传统语音交互的“回合制”牢笼,使AI能边听、边看、主动说[6][8] - 该模型实现了“感知不中断”,即使自身正在说话,也能毫秒级地处理用户的插话或环境变化,并实时调整回应[8] - 技术核心是通过“时分复用”机制,在统一时间轴上并行处理视频流、音频流及输出流,让9B小模型具备处理并发多模态信息的能力[9] 模型战略:密度法则与小参数模型 - 行业过去信奉Scaling Law(尺度法则),追求模型参数越大越好,而面壁智能提出并践行Densing Law(密度法则),追求在更小参数内塞入更高密度的知识与能力[15][16] - 据测算,大模型知识密度约每100天翻一倍,因此当前9B模型的能力可能相当于一年前700亿(70B)甚至更大模型的能力[17] - MiniCPM-o 4.5仅用90亿(9B)参数,集成了视觉理解、文档解析、语音理解与生成、声音克隆等全模态能力,并达到SOTA水准[19] - 模型足够小是实现在手机、车机、机器人等端侧设备本地运行的前提,以解决云端方案的延迟与隐私问题[20][21] 硬件创新:松果派与模型原生设计 - 面壁智能跨界发布硬件开发板“松果派”,旨在为端侧智能提供一个“开箱即用的物理大脑”[22][25] - 该硬件核心采用Orin AGX 64G模组,并集成了高清摄像头、环形麦克风阵列、主动散热风扇及丰富接口,专为运行9B级端侧模型优化[25] - 其目的是“打个样”,定义“Model-Native(模型原生)”的硬件标准,优化数据流处理路径,将端到端延迟从4秒压至1秒以内[28][29][31] - 硬件与软件的深度协同优化至关重要,缺乏合适的“身体”,再聪明的“大脑”也无法发挥性能[30] 生态构建与工程化能力 - 公司通过开源模型和参考硬件,正在构建庞大的端侧智能生态,已推动模型在6款国产主流芯片上获得端到端推理性能提升[31] - 面对高度碎片化的端侧市场(汽车、手机、PC、机器人等),公司选择深耕适配不同硬件、压榨延迟等“苦活累活”,以此建立工程壁垒[38][39] - MiniCPM-o 4.5已支持16种不同大小的int4和GGUF量化模型,可通过llama.cpp和Ollama在本地设备高效推理,展现了极致的工程化能力[39] 应用前景:具身智能与1Hz大脑 - 当前机器人行业存在“小脑”(10Hz高频运动控制)发达但“大脑”(1Hz低频智能决策)薄弱的瓶颈[32][33][34] - MiniCPM-o 4.5旨在成为通用的“1Hz大脑”或“感知中枢”,使机器人能同时处理环境感知、指令理解和路径规划等高层智能任务[35] - “端侧大脑+本地小脑”的架构是具身智能走出实验室、进入家庭场景的可行路径,且不依赖网络[36][37] - 端侧智能市场高度碎片化,不同于赢家通吃的通用搜索市场,为专注适配与优化的公司提供了生存与发展空间[38][41]
从「密度法则」来看Scaling Law撞墙、模型密度的上限、豆包手机之后端侧想象力......|DeepTalk回顾
锦秋集· 2025-12-15 12:09
文章核心观点 - 大模型的发展正从依赖规模扩张的“规模法则”转向追求效率提升的“密度法则” [2][3] - “密度法则”指出,模型能力密度每3.5个月翻一倍,使得实现相同智能水平所需的参数量和成本呈指数级下降 [11][28] - 行业未来的核心竞争力将从规模竞赛转向效率与智能密度竞赛,为端侧智能的普惠化奠定基础 [11][59] Scaling Law的可持续性问题 - 规模法则在数据和算力上面临可持续发展瓶颈,并非完全失效,而是“撞墙了” [2][15] - 训练数据瓶颈:核心训练数据依赖互联网公开语料,其规模增长已放缓,基本停留在20T Token左右,难以继续扩展 [15] - 计算资源瓶颈:模型规模指数级增长需要不可持续的计算资源,例如LLaMA 3 405B模型训练使用了1.6万块H100 GPU [16] 密度法则的提出与定义 - 灵感来源于信息时代的摩尔定律,智能时代需要关注“知识压缩效率”与“智能密度” [3][20] - 观察到行业趋势:用越来越少的参数实现相同的智能水平,例如2020年GPT-3需千亿参数,2023年初MiniCPM仅用2.4B参数达到相似能力 [23] - 定义了模型的“相对能力密度” = 同能力基准模型的参数量 / 目标模型参数量,以此量化模型的知识压缩效率 [24][25] 密度法则的核心推论 - 推论1:实现特定AI水平的模型参数量呈指数级下降,每3.5个月下降一半 [32] - 推论2:模型推理开销随时间呈指数级下降,例如GPT-3.5推理百万Token成本约20美元,相同能力的Gemini 1.5 Flash仅需0.075美元 [36][38] - 推论3:自ChatGPT发布后,大模型能力密度的增长速度明显加快 [42] - 推论4:模型小型化带来巨大的端侧智能潜力,未来3-5年端侧芯片预计可运行10B-60B参数规模的模型 [45] 构建超高能力密度模型的制备体系 - 架构高效:趋势从“大模型”迈向“长模型”与“全稀疏架构”,包括前馈网络和自注意力机制的稀疏化,以处理长序列和复杂思考 [53] - 计算高效:坚持软硬协同优化,包括自研训练框架、投机采样、量化技术等,例如全阵敏感4比特量化能在保持99%性能下将存储压缩至Int4 [54][56] - 数据高效:预训练阶段核心是提升数据质量与清洗;后训练阶段关键在于通过人机协同合成高质量数据 [55][57] - 学习高效:构建“模型能力风洞”,通过训练小规模模型验证数据配比、超参等,以科学化调度降低大模型训练的试错成本 [58][67] 行业现状与头部厂商动态 - OpenAI通过推出“Mini”或“Flash”版本,积极将旗舰模型能力压缩至小模型,以降低推理成本 [71] - Google在架构层面进行探索,例如在Diffusion Model中展示非自回归快速生成能力,并应用高效的注意力机制 [71][72] - 预训练数据的核心瓶颈是互联网语料质量低;后训练的关键瓶颈是高质量Query和稳定运行环境的稀缺 [68][69] 未来技术趋势展望 - 明年技术主线将集中在Agent领域,其能力提升的核心驱动力依然是数据积累 [73] - 高质量的后训练数据和稳定的运行环境将成为决定各家模型能力上限的关键因素 [69][73] - 端侧智能预计在2026年迎来重要转折点,驱动力包括普惠化需求、隐私保护以及端侧芯片算力与模型能力密度的协同提升 [75][76][77] - 端侧多模态的发展方向包括高清高刷体验的优化,以及流式全模态处理能力 [78] 模型评价与行业发展 - 现有大模型“排行榜”因容易导致模型过拟合而有效性受到质疑 [82] - 未来需要发展内部私有评测体系,并构建动态、前瞻性的评测集,以引导模型向更通用的方向发展 [84][86] - 长期需关注对模型自主学习能力的评测 [85]
面壁李大海谈端侧模型竞争:元年开启,巨头涌入印证前景无限可能
环球网· 2025-08-15 15:48
行业趋势与战略判断 - 公司CEO提出2025年将迎来"端侧元年" 标志着机遇大门开启但市场格局尚在成形初期[1] - 端侧模型优势及"端云协同"成为行业共识 越来越多大模型厂商开始关注端侧领域[1] - 行业呈现多元化发展态势 除公司外阿里通义千问 腾讯混元开源多款小尺寸模型 OpenAI首次开源两款模型包括尺寸较小的GPT-oss-20B[1] 公司竞争定位与战略 - 公司认为压力并非来自友商竞争 更多创业公司和巨头涌入印证了赛道正确性与前景无限可能[1] - 公司核心压力在于将技术优势转化为商业优势 需要极致追求技术与用户价值的平衡[1] - 公司确立"高效"为核心竞争力 追求"同等性能我最小 同等参数我最强"的端侧模型方案[1] 技术突破与行业贡献 - 研究团队发现并提出描述大模型知识密度的"密度法则(Densing Law)" 在大模型规模法则遇到挑战时开辟新的认知视角[1] - 2024年初面壁小钢炮MiniCPM端侧模型诞生 以2.4B参数能力超越Mistral 7B模型实现以小博大[2] - 系列端侧模型累计下载量超过1300万 与高通 NVIDIA MTK Intel 华为 瑞芯微电子等国内外主流芯片厂商方案全面适配[2] 商业化进展与落地应用 - MiniCPM模型作为"端侧大脑"核心在汽车 手机 PC 家居等终端领域成功落地[2] - 在智能化汽车的新一代人机交互(AI座舱)方面形成特色优势[2] - 2024年7月下旬公司进行新一轮组织升级 专门成立一级组织"汽车业务线"通过压强式突破推动MiniCPM模型广泛上车[2]