Workflow
Large Language Models (LLMs)
icon
搜索文档
自诩无所不知的大模型,能否拯救笨手笨脚的机器人?
虎嗅· 2025-05-06 08:48
机器人技术现状与挑战 - 当前餐饮机器人主要执行重复性任务如制作汉堡、薄饼等 但缺乏应对复杂厨房环境和突发状况的能力[1] - 传统机器人依赖预设编程 无法处理程序外情况 需要定义所有可能动作及效果[1][4] - 工业机器人如Levatas机器狗在限定场景表现良好 但无法适应开放环境任务[7][9] 大语言模型(LLM)与机器人结合 - ChatGPT等LLM为机器人提供海量知识库 弥补常识缺失 实现自然语言交互[5][12] - Google的PaLM-SayCan系统通过LLM理解高阶需求 如根据"健身完"自动选择健康饮品[21][22] - 南加州大学ProgPrompt方法将LLM生成代码与机器人执行结合 任务成功率显著提升[18][19] 技术突破与创新应用 - LLM参数规模爆发式增长 GPT-4达万亿级 北京智源"悟道2.0"达1.75万亿参数[12] - 普林斯顿团队利用GPT-3描述工具特性 使机器人掌握未见过工具的使用方法[23] - 多模态模型成为新方向 可同步生成语言、图像及行动指令[31] 行业应用前景 - 老年护理、家庭服务等领域潜力巨大 但当前技术尚不成熟[26] - 工业检测领域已实现自然语言控制 降低操作门槛[6] - 餐饮自动化可能被彻底改写 需突破物理执行瓶颈[4][14] 技术局限性 - 机器人传感器与执行器有限 难以匹配LLM的广泛语义理解[9][10] - LLM存在"幻觉"问题 可能生成不合理指令 需传统AI程序校验[27] - 物理世界随机性(如光线变化、物体形状差异)仍制约机器人表现[14] 伦理与社会影响 - 训练数据偏见可能导致机器人行为歧视 如面部识别中的种族差异[28][29] - LLM可能放大社会刻板印象 需建立防护机制[29] - 非洲等地区语言覆盖不足 LLM在非英语环境表现较差[28]
模型压缩到70%,还能保持100%准确率,无损压缩框架DFloat11来了
机器之心· 2025-04-28 12:32
大型语言模型压缩技术 - 核心观点:提出DFloat11无损压缩框架,可将LLM模型体积缩减30%同时保持100%准确性,显著提升GPU推理效率[2][5][7] 技术背景 - LLM规模增长导致部署障碍:Llama-3.1-405B模型需810GB内存,超出单台DGX A100/H100服务器(8×80GB GPU)容量[1] - 现有量化技术缺陷:有损压缩会改变模型输出分布,影响准确性[4] 方法创新 - DFloat11核心技术:基于BFloat16权重低熵特性,采用动态长度霍夫曼编码压缩指数部分,保留符号位和尾数位[11] - GPU解压缩设计: - 分解大型LUT为适应GPU SRAM的紧凑查找表[9] - 双阶段内核设计协调线程读写[9] - Transformer块级解压缩降低延迟[9][13] 实验结果 - 压缩效率: - Llama-3.1-405B从811.71GB压缩至551.22GB(67.91%)[20] - 平均压缩比70%,等效位宽11位[19][20] - 性能提升: - token生成吞吐量提高1.9-38.8倍[6] - 同显存下支持上下文长度达未压缩模型的5.3-13.17倍[6][25] - 准确性验证:在MMLU/TruthfulQA等基准测试中与原始模型保持比特级一致[21][22] 硬件适配 - 单节点实现Llama-3.1-405B推理:8×80GB GPU即可运行原需多节点的810GB模型[7] - 解压缩性能:DF11吞吐量达CPU-GPU传输的24.87倍,ANS解码的15.12倍[30][31] 行业应用价值 - 突破性意义:首次实现LLM无损压缩与高效GPU推理的协同优化[5][6] - 商业化潜力:显著降低大模型部署成本,提升资源受限环境下的可用性[1][7]
Google Jeopardy: Advertising, DOJ Threats Pressure Alphabet Stock
ZACKS· 2025-04-24 02:40
核心观点 - 大型语言模型对谷歌的核心搜索和广告业务构成结构性挑战,可能侵蚀其收入基础 [1][2] - 谷歌面临在维持现有现金牛业务与积极向AI转型之间取得平衡的艰难处境 [8] - 公司同时面临来自美国司法部的反垄断审查压力 [1][9] 搜索广告业务面临的压力 - 搜索相关广告是公司收入的核心支柱,2024年占其2950亿美元总收入的近57% [2] - 大型语言模型开始拦截大量日常查询,特别是信息类查询,使用户可能跳过谷歌搜索 [2][4] - 信息类查询(如“访问日本的最佳时间”、“如何修理漏水水龙头”)原本是内容营销和搜索引擎优化的主要战场,谷歌通过展示和文本广告进行变现 [4] - 用户转向大型语言模型导致谷歌失去页面浏览量、广告展示次数和用户行为数据 [4] 广告商业模式受到的冲击 - 大型语言模型界面简洁,缺乏传统搜索结果页的广告位,导致每次查询的广告位减少、点击潜力下降、每次点击成本可能因广告拍卖竞争减弱而降低 [5] - 即使用户意图和注意力在谷歌的搜索生成体验中也被分散,难以清晰区分用户处于“购买模式”还是“仅提问模式” [5] - 大型语言模型正在改变用户意图的位置和发现发生的界面,动摇了谷歌广告模式的基础 [5] - 若用户行为(尤其是年轻和技术娴熟用户)发生巨大转变,谷歌无法将查询保留在自己的平台上,将逐渐但持续地失去来自大广告主的广告收入 [6][7] 公司的战略应对 - 公司试图在积极转型与保护现金牛业务之间取得平衡 [8] - 当前策略包括测试集成广告的搜索生成体验、为广告商提供基于AI的广告创建工具、增强YouTube和购物等大型语言模型尚难竞争的界面 [9] - 通过更深度地集成Workspace、Drive、Suite、Search和Gemini等产品,创造更多向用户展示广告的机会 [9] 反垄断审查 - 公司正面临美国司法部的反垄断诉讼 [1][9] - 竞争对手Perplexity的首席执行官认为,Android系统应该向消费者选择更加开放,不应强制绑定谷歌的默认应用,原始设备制造商应能提供默认搜索和语音助手的选择,而不被谷歌限制使用Play商店和其他应用 [11]
Google GenAI, AI Cloud Services Drive Analyst Confidence In Long-Term Growth
Benzinga· 2025-04-17 02:02
公司估值驱动因素 - 未来3-5年谷歌主要估值上升驱动力来自其专有大型语言模型(LLMs) [1] - Needham分析师重申Alphabet买入评级及178美元目标价 预计GenAI将提升谷歌内部运营效率并加速收入增长 [1] - 谷歌云业务将通过LLMs及基于其构建的应用程序创造收入 [1] 竞争壁垒与技术优势 - Gemini LLM凭借谷歌搜索引擎和YouTube平台的海量数据输入形成竞争护城河 [2] - GenAI将彻底改变内容创作模式、用户行为习惯及商业模型 [2] 行业活动与讨论议题 - 5月8日Needham互联网与媒体会议将举办"GenAI对媒体和互联网影响"专题讨论 涉及亚马逊、Meta、迪士尼等多家公司 [3] - 会议议题包括零点击策略对2024年行业的最大冲击 重点关注估值错配问题 [4] 商业模式挑战 - 搜索引擎中GenAI摘要功能降低用户点击外链需求 冲击依赖流量引荐的出版商广告变现 [5] - 互联网低价值内容泛滥可能损害消费者信任 缩短用户停留时长 影响高质量内容变现 [4] 法律与内容风险 - GenAI加剧知识产权侵权风险 包括版权违规、虚假信息及深度伪造内容 [5] 市场表现 - Alphabet股价周三下跌1.03%至154.77美元 [5] 行业潜在影响 - GenAI可能侵蚀数字广告基础 新竞争者进入门槛降低抵消利润率扩张的积极影响 [6] - 需评估GenAI内容激增对现有市场参与者的利弊 [6]