Workflow
端侧大模型
icon
搜索文档
“像把大象塞进冰箱一样困难”,端侧大模型是噱头还是未来?
36氪· 2025-10-14 16:30
端侧大模型的定义与范畴 - 端侧大模型指将大模型的推理过程直接部署在终端设备上,而非依赖云端数据中心 [2] - 端侧设备范围广泛,包括算力较弱的IoT设备、算力中等的智能手机、机器人和PC等 [2] - 大模型没有统一标准,通常指基于decoder-only的Transformer架构、参数规模超过百兆的自回归模型,能处理多种任务并适应不同下游任务 [2] 端侧部署的核心优势 - 隐私保护:模型可利用端上产生的所有数据(如录音、文本、屏幕点击),避免敏感数据上传云端 [3] - 低延迟与高可用性:端侧推理摆脱网络依赖,避免云端服务的网络往返延迟和批量调度时延,整体延迟显著降低 [3][6] - 成本优势:将计算分摊到用户终端,可减少企业维护超大GPU集群的成本 [3][6] 端侧部署面临的技术挑战 - 内存限制:终端设备内存配置多为8~12GB,需通过极致量化与压缩(如4bit甚至更低)来适配有限内存 [4][5][7] - 精度对齐:端侧必须将FP32模型高精度压缩,不同厂商对量化算法的支持差异带来精度对齐难题 [5] - 开发适配成本高:端侧部署几乎需从零开始开发高性能算子,构建推理能力,开发成本远高于云端 [5] - 模型部署与下发:APP安装包尺寸限制大,即便量化后模型仍可能达几百兆,内存压力显著 [11] 业界解决方案与技术进展 - 华为CANN工具链提供NPU友好的低比特量化算法,显著降低模型内存占用,使大模型能运行于手机等终端 [6][9] - 工具链支持Ascend C自定义算子开发,实现一次开发多端部署,并已适配业界主流开源模型(如通义、千问、LLaMA、ChatGLM) [6][9] - 采用量化策略如PTQ、QAT,针对2比特量化选用更小block size(如64或32)并引入二级量化来压缩scale,减少模型体积和加载内存 [16][17] - 利用模型稀疏性与存储分层结合,将频繁激活的参数常驻内存,不常用参数按需加载,以扩大端侧可运行模型规模 [12][13] - 针对Prefill阶段算力瓶颈,采用prompt缓存、混合低比特量化等技术;针对Decode阶段带宽瓶颈,采用更低比特量化、MoE、投机推理等方案 [14][15] 典型应用场景与商业化路径 - 隐私要求高的场景:如数字世界的Computer Use Agent(GUI Agent、Function Code Agent)、物理世界的具身智能(无人机、机器人) [21][26] - 实时性要求高的场景:如语音助手、流式识别、实时翻译、相机算法优化、离线ASR等 [6][21] - 商业模式上,终端侧运行已基本成熟,华为、vivo、荣耀、苹果等厂商新旗舰手机均具备端侧大模型能力 [21] - 更易取得商业化成果的路径是将大模型与具体应用场景结合,如应用开发、智能Agent、无人机或其他深度垂直领域 [29][30] 未来发展趋势与端云协同 - 未来3-5年,端云协同将成为必然趋势,端侧作为"神经末梢"负责部分token计算和隐私数据采集,云端作为"大脑"完成复杂推理决策 [23][24] - 端侧将更贴近生产力场景,处理与用户本地数据相关的个性化任务;云端则致力于拓展人类知识边界的复杂任务 [24][25] - 端的形态将不限于手机,扩展到车机、机器人、智能眼镜等设备,成为智能入口和重要计算节点 [25][26] - 操作系统需重新定义资源管理以适配大模型,如KV cache的管理、NPU的灵活调度机制等 [10][24]
vivo将与小鹏汽车开展合作 手机品牌“生态战”升级
证券日报之声· 2025-10-11 00:10
公司战略与产品发布 - 公司在2025开发者大会上发布全新升级的蓝心智能战略以及原系统6(OriginOS 6)[1] - 公司宣布与小鹏汽车深度合作,围绕应用生态互融、AI能力互融、设备数据互融三大方面共研共创[1] - 公司持续坚持开放生态,未来几个月飞猪等更多应用将在蓝河智能平台上陆续上线[5] AI与大模型技术进展 - 蓝心大模型矩阵实现语言、语音和图像全面突破,智能体小V语音可感知情绪和语气,交互更自然[2] - 通过对蓝心图像大模型渐进式训练,提升图文一致性和美观度,并突破长文本渲染难题[2] - 公司目标将端侧模型做到全球领先,聚焦3D模型进行多模态聚合,持续夯实模型端侧能力[2] 操作系统技术突破 - 原系统6首发搭载蓝河流畅引擎,从计算、显示、存储三大核心模块入手,重构安卓底层架构[3] - 公司在操作系统领域拥有超过200项专利,实现从单点优化到系统级协同的突破[3] 生态合作与行业趋势 - 手机厂商竞争加速从硬件参数转向生态体系构建,开放自研系统成为建立行业标准、争夺生态主导权的重要一步[1] - 车机互联成为智能手机生态扩展的核心场景,手机与车机深度融合将创造巨大用户体验价值[4] - 行业呈现“群雄割据”态势,华为、小米、OPPO等厂商均在构建自己的生态体系,但未来生态发展更注重合作共赢[5] 具体合作与功能创新 - 公司与小鹏汽车联合演示“镜像小窗2.0”功能,实现手机应用无缝流转至车机屏幕[4] - 双方共创“一句话控车”功能,打通手机语音助手与车载系统壁垒[4] - 公司实现手机能控车、控家电,再度进行生态破壁[1]
借道“无障碍”,AI助手可能在盯着你
创业邦· 2025-09-25 12:27
AI Agent市场前景与竞争格局 - 2025年是AI Agent元年,厂商正积极推出和迭代端侧AI助手[4] - 全球AI手机渗透率预计在2027年达到约40%,出货量有望达5.22亿部[9] - AI Agent市场规模预计将从2024年的51亿美元增长至2030年的471亿美元,复合年增长率高达44.8%[17] - 2025年AI Agent将迎来规模化落地浪潮,其通过智能化任务处理重构标准化作业流程的潜力备受期待[16] - 各大厂商纷纷布局,包括苹果发布Apple Intelligence、小米推出MiLM、vivo推出蓝心大模型、OPPO推出安第斯、荣耀推出魔方等端侧大模型[9] - AI厂商如OpenAI推出智能体Operator,智谱推出手机智能体AutoGLM,也开始试水端侧业务[9] AI Agent的技术路径与挑战 - 行业存在两种主要技术路径:接口模式和纯视觉方案(调用无障碍权限)[11] - 接口模式需要手机厂商和应用厂商签订意图框架,互通接口,其特点是安全但依赖生态,开发成本高[11][12] - 纯视觉方案直接调用无障碍权限,开发快、通用性强,但存在用户操作慢、准确率不高以及隐私安全风险[11][12] - 核心挑战在于如何跨过App间的区隔,实现AI对手机的操作[9] - 大部分厂商为快速低成本抢占市场,选择使用无障碍权限这一现存功能模块来实现AI Agent功能[12] 数据安全与隐私风险 - 开放无障碍权限使AI应用基本"全知全能",可能读取支付密码、聊天记录等敏感信息,并可随意点击[4][6] - 用户跨APP的数据使用需要双重授权,但无障碍权限一旦开放就跨过了第三方APP授权环节,用户数据若被滥用可能无法追责[12] - 端侧大模型部署环境下存在隐私保护三大缺陷:知情同意流于形式、多方主体责任划分不清以及用户权利难以实现[12] - 超半数受访者遇到了数据隐私和安全问题,60.09%的受访者认为AI可能会不受控制地收集和处理个人信息[17] - 已有诈骗案例显示,诈骗软件通过"屏幕共享"功能获取用户银行卡账号、密码、验证码,并直接操控手机完成转账[16] - 有AI应用在读屏时未区分信息敏感程度,导致将用户群名称中的小区信息直接引用到作文中[16] 行业规范与企业应对措施 - 行业已推出多项规则,如中国软件行业协会发布《移动互联网服务可访问性安全要求》,要求智能体在获得用户明确授权后方可启用无障碍服务[21] - 中国信通院联合多家公司提出《关于共建终端智能体生态的倡议》,开展打通终端智能体与第三方应用交互接口等工作[21] - 企业需提高对用户隐私风险的防范意识,例如苹果推出Apple Intelligence时特别强调了隐私保护,并开发了"隐私云计算系统"[19] - 企业应明确界定实现功能所必需采集的最小屏幕区域和数据范围,建立针对屏幕数据采集的专项数据质量管理规范[19] - 服务推向市场前可先采取小范围测试,OpenAI和Anthropic的智能体使用截屏功能时会限定在浏览器或沙盒环境中[19] - 当前行业规则并非强制,企业采纳与否凭自愿[12][21]
思必驰AI办公本X5系列:以多智能体协作与端侧大模型重塑办公效率
犀牛财经· 2025-09-24 17:52
行业整体趋势 - 2025年家电行业步入政策效应换挡与市场需求调整的关键周期,行业整体负增长已成共识 [1] - 2024年9-12月家电全渠道零售额同比增长23.8%,但2025年7-8月同比增幅大幅收窄至仅7% [4] - 2025年国补政策转向分批下达与限流管控,补贴力度与覆盖面收缩,拉动效应逐月递减 [1][4] 促销节奏与渠道表现 - 行业促销节奏紧密衔接,线下渠道聚焦国庆旺季冲刺,线上平台为双十一提前蓄力 [2] - 线上渠道在本次促销周期中市场表现有望优于线下,因去年线下受国补政策强力拉动形成高基数 [2] - TOP渠道为拉动客流可能通过自补方式加大优惠力度,甚至出现价格倒挂,而大连锁渠道依托规模效应预计成为下半年销售表现最优渠道之一 [2] 品类表现分析 - 冰箱、洗护、空调等传统大家电均将陷入明显负增长,产业走势呈洗护<空调<冰箱的梯度分化,冰箱负增长率可能突破-20% [6] - 2025年十一及双十一促销周期,冰箱线上销量同比-23.8%,销额同比-22.1%;线下销量同比-20.3%,销额同比-19.2% [7] - 空调行业陷入“保利润”与“抢份额”的矛盾,双十一期间全渠道销量预计同比下降8.0%,销额同比下降14.4% [8][9] - 冷柜市场表现持续疲弱,2025年双十一全渠道销量同比微增1.3%,销额同比增1.9%,受国补调整冲击相对可控 [7][9] - 洗护品类跌幅相对有限,双十一期间洗衣机全渠道销量同比-2.9%,销额同比-5.7%,热泵洗烘一体机等高端功能产品为重点发力方向 [8][9] 政策影响 - 2025年中央财政3000亿元消费品以旧换新超长期特别国债资金,已下达前三批共2310亿元,第四批690亿元预计10月落地 [13] - 对比2024年国补初期的强劲拉动,2025年政策刺激强度预计相对温和,双十一家电行业同比仍可能下滑 [13][14] 竞争格局与战略建议 - 冰箱市场竞争焦点预计集中在6-8K价格段,该价位区间成为下半年各品牌争夺主战场 [7] - 行业建议聚焦零售驱动加快库存去化、坚定提结构以高附加值产品对冲国补退坡、结合能效标准升级窗口加快新品迭代 [14] - 细分功能型产品更受市场青睐,绿色节能类产品市场认可度持续提高,溢价能力明显增强 [8]
面壁智能汽车业务线首秀:端侧VLA在吉利智能座舱量产部署
新浪财经· 2025-09-24 17:49
公司业务进展 - 面壁智能汽车业务线成立后首个成果落地 与吉利中央研究院联合开发端侧VLA多模态大模型(0.9B)[1] - 模型在吉利银河M9智能座舱平台实现量产部署 提升座舱系统稳定性与可靠性[1] - 模型具备舱内外环境多模态感知融合能力 实现智能雾灯和自适应车窗等功能[1] - 数据处理无需网络传输和远程服务器响应 本地存储降低用户信息泄露风险[1] 战略发展 - 公司于今年7月三周年之际进行组织升级 新成立汽车业务线[1] - 战略目标为实现压强式突破 将MiniCPM面壁小钢炮端侧模型应用于更多汽车[1] - 公司致力于推进新一代人机交互变革[1] 行业合作 - 与吉利中央研究院建立联合开发合作关系[1] - 合作成果已在吉利银河M9车型实现商业化应用[1]
AI办公本是如何弯道超车的?
虎嗅APP· 2025-09-24 17:37
核心观点 - 思必驰作为语音技术领域B端服务商 在2024年进军C端AI办公本市场 通过差异化产品策略和技术创新实现逆袭 两年内成为行业黑马[2][17] - 公司以"专业办公"为核心定位 通过屏幕革命、多智能体协作系统和端侧大模型等技术突破 重新定义智能办公本的产品形态和价值[6][11][14] 市场突破与产品表现 - 2024年618期间 AI办公本Pro×LAMY联名款获京东、抖音双平台彩屏电纸书销售额冠军[2] - 首季度销量突破数万台 打破"ToB团队做不好C端产品"的行业偏见[7] - 2025年9月发售的X5系列成为业内首款"彩屏+端侧大模型"AI办公本[2] 技术差异化创新 - 放弃90%同行采用的电子墨水屏 改用柔彩护眼类纸屏 响应速度达墨水屏10倍 点击延迟缩短至0.2秒以内 刷新率60Hz 同时过滤91.36%有害蓝光[6][7] - X5系列搭载多智能体协作系统 自动识别42种会议场景 提供AI洞察与决策支持[11] - 部署端侧大模型 采用6纳米8核旗舰芯片与7500毫安电池 支持离线10小时连续录音 AI转写准确率超98%[11][12] - L形8麦阵列设计提升三维声源定位能力 显著改善嘈杂环境下的转写精准性[15] 用户需求洞察 - 用户调研发现墨水屏2秒刷新延迟无法满足会议记录效率需求[5] - 政企用户占比50%-60% 政府用户约20% 核心需求为高效率办公助手而非娱乐功能[15] - 深度解决用户痛点:从基础语音转写升级至会议内容深度剖析、风险预警与行动规划[10][11] 行业背景与市场空间 - 2023年科大讯飞智能硬件营收达16亿元 汉王电子阅读器已有十余年积累[5] - 中国智慧办公市场年增速15.58% 2025年规模预计达1768.16亿元[17] - 思必驰2023年新增接入IoT设备1.3亿台 AI语音芯片出货量超2800万颗[4] 产品演进路径 - 从Pro系列的屏幕革命到X5系列的功能迭代 实现从"记录员"到"决策官"的产品定位升级[8][11] - 通过用户社群直接收集反馈 产品经理与研发人员实时响应用户需求 形成产品优化闭环[7] - 硬件持续升级:支持Wifi+蓝牙+4G全网通 新增物理AI按钮实现一键启动操作[15]
2026年量产!斑马智行全球首发全模态AI座舱,云栖大会开放实车体验
扬子晚报网· 2025-09-23 15:49
阿里云Qwen3-Omni模型发布 - 阿里云发布全新Qwen3-Omni,是业界首个原生端到端全模态AI大模型 [2] - 斑马智行宣布率先融合接入该模型 [2] Auto Omni智能座舱解决方案 - 斑马智行将推出全球首个、行业唯一的智能座舱全模态端侧大模型解决方案Auto Omni [2] - 该方案将开放实车体验 [2] - 方案基于阿里云Qwen Omni及高通骁龙8397芯片平台打造 [2] - 具有主动智能、断网可用、隐私无忧三大特点 [2] - 将带来产品体验代际式的提升与变革 [2] - 斑马智行将联合阿里云及高通于9月26日正式发布Auto Omni [2] - 首批采用该方案的新一代AI智能座舱将在2026年随量产车型正式面世 [3] 高通骁龙8397芯片平台 - 骁龙8397平台是高通第五代智能座舱芯片 [2] - 芯片算力大幅提升至320TOPS [2] - 成为高端智能汽车首选,也是端侧大模型上车的最佳平台之一 [2] - 首批搭载高通8397芯片的车型将在2026年量产 [3] 行业趋势与影响 - 2025年被行业称为端模型上车元年 [2] - 主流座舱SoC芯片算力大幅提升,使7B参数规模的多模态大模型能在端侧流畅运行 [2] - 多模态端侧大模型尚未上车,全模态技术方案已经到来,给行业及用户带来更好选择 [2]
联发科2纳米芯片已完成流片 将于明年底量产
每日经济新闻· 2025-09-16 12:17
联发科2纳米芯片技术进展 - 公司首款采用台积电2纳米制程的旗舰系统单芯片已成功完成设计流片,预计明年底进入量产 [1] - 流片标志着芯片设计阶段基本完成,进入制造验证环节 [1] - 台积电2纳米制程首次采用纳米片电晶体结构,逻辑密度较N3E制程增加1.2倍,相同功耗下性能提升高达18%,相同速度下功耗减少约36% [1] 先进制程的行业意义与竞争 - 更小的纳米制程意味着晶体管体积更小、密度更高,芯片性能更强 [1] - 2纳米制程可为端侧大模型、生成式AI、高性能计算等应用提供保障 [1] - 高通和联发科的新一代旗舰SoC目前主要采用台积电3纳米制程,随着2纳米工艺成熟,竞争将延伸至更先进平台 [2] 成本挑战与市场格局 - 一枚2纳米制程晶圆的成本约为3万美元,苹果、英伟达等厂商需在性能与成本间取舍,成本可能传导至消费者 [1] - 台积电为全球顶尖科技公司生产核心芯片,包括iPhone的A系列处理器和英伟达的AI GPU [2] - 2025年第一季度联发科在全球智能手机应用处理器市场份额为36%居首,高通以28%排第二,苹果以17%排第三 [2]
端侧大模型:是噱头还是未来?| 直播预告
AI前线· 2025-09-13 13:33
直播活动信息 - 直播时间定于9月16日20:00-21:30 主题为端侧大模型是噱头还是未来 [2] - 技术专家来自蚂蚁集团 华为和北京邮电大学 包括蚂蚁集团xNN引擎负责人朱世艾博士 北邮副教授徐梦炜博士 华为CANN端侧生态专家章武 [2][3] - 活动提供端侧AI资料包福利 包含核心技术难题解析 实战方法论和优化策略 [5] 技术讨论焦点 - 将辩论端侧大模型是真突破还是伪需求 覆盖算力墙 系统架构和应用落地等核心议题 [3] - 重点分析开发者和初创公司在端侧AI领域的切入机会点 [3][5] - 探讨端侧智能未来发展方向和潜在机遇 包括技术优化策略和创新视角 [5] 参与方式 - 通过扫描二维码或预约按钮观看AI前线视频号直播 [4] - 观众可通过文末留言向讲师提问 问题将在直播中解答 [6]
手机市场量价齐升态势可期!消费电子ETF下跌0.50%,领益智造上涨6.19%
每日经济新闻· 2025-08-26 12:11
市场表现 - 上证指数盘中下跌0.16% 消费电子ETF下跌0.50% [1] - 消费电子成分股领益智造上涨6.19% 德赛西威上涨4.07% 和而泰上涨3.70% [1] - 胜宏科技下跌3.68% 汇顶科技下跌3.40% [1] - 综合/美容护理/传媒板块涨幅靠前 房地产/钢铁板块跌幅居前 [1] 行业数据 - 7月智能手机产量94.32百万台 同比增幅收窄6.40个百分点至2.00% [1] - 智能手机产量三个月滚动同比增幅扩大2.80个百分点至2.90% [1] - IDC预测2025年中国智能手机出货量同比增长1.6% [1] 产品与技术创新 - 下半年新品手机密集上市 端侧大模型/折叠屏/智能影像等技术加入 [1] - 新技术应用有望带动智能手机均价提升 [1] 政策与市场预期 - 下半年以旧换新资金及传统旺季(开学+国庆+双11)将带动智能手机销量提升 [1] - 消费电子ETF跟踪国证消费电子指数 覆盖50家A股消费电子产业公司 [2] - 投资标的集中于电子制造/光学光电子等主流板块 [2]