模型推理

搜索文档
联想申请一种模型推理方法及电子设备专利,可基于第三向量和目标向量确定推理结果
金融界· 2025-08-06 20:32
联想新专利技术 - 公司申请了一项名为"一种模型推理方法及电子设备"的专利,公开号为CN120430411A,申请日期为2025年04月 [1] - 专利技术涉及基于文本的向量处理,通过降低维度并增加头数来提高推理效率,最终生成与输入文本相对应的推理结果 [1] - 技术具体包括:确定待推理文本的第一和第二向量,处理第一向量生成维度更小但头数更多的第三向量,从缓存结构中获取目标向量,最终结合第三向量和目标向量得出推理结果 [1] 公司背景信息 - 联想(北京)有限公司成立于1992年,总部位于北京市,主要从事计算机、通信和其他电子设备制造业 [1] - 公司注册资本为565000万港元 [1] - 对外投资企业数量达107家,参与招投标项目5000次 [1] - 拥有商标信息1751条,专利信息5000条,行政许可238个 [1]
周鸿祎:360最近都采购华为芯片,国产性价比高
南方都市报· 2025-07-23 22:03
国产芯片与英伟达竞争 - 360集团近期采购华为芯片产品,认为国产芯片与英伟达存在差距但必须坚持使用以推动产品改进[1] - 英伟达H20芯片获准销往中国,更适合模型推理场景,而华为芯片在推理场景性价比高于H20[2] - 国产AI芯片在模型推理市场存在机会,因技术要求低于模型训练[2] DeepSeek模型发展 - DeepSeek在推理模型领域贡献显著,但6月首次出现月活用户负增长[2] - DeepSeek创始人专注AGI和大模型研发,未重点投入To C应用或流量运营[2] - 尽管应用流量下降,DeepSeek开源基座模型仍被云厂商和AI应用公司广泛调用[2] AI智能体发展趋势 - 开源模型性能提升推动AI智能体发展,智能体具备任务推理、规划和执行能力,成为AI落地关键方向[3] - AI Coding是智能体热门垂直方向,工程化能力如上下文工程和提示词工程发挥关键作用[3] - 智能体应走向专业化,结合行业建立技术壁垒,避免与大模型通用性竞争[3] - 360计划通过智能体优化市场部效率,未来不掌握智能体技术的人员可能被淘汰[3]
AI算力需求涌向模型推理,国产芯片站上竞技台了
第一财经· 2025-05-28 15:22
中国数据中心加速卡市场 - 2024年中国数据中心加速卡市场中34.6%是国产算力,预计上半年国产算力占比超四成[1][2] - 2022-2023年英伟达占据中国数据中心加速卡市场85%-90%,2024年其份额降至65.2%[11] - 国产算力占比可能在短期内超过50%,寒武纪、沐曦等国产芯片厂商开始进入主流应用[11][12] AI算力需求结构变化 - 2024年中国数据中心加速卡中57.6%是推理卡,33%是训练卡,DeepSeek推动推理需求增长[9] - 训练算力需求未减少但占比下降,推理芯片占比预计2025年进一步大幅增加[1][9] - 腾讯等企业反映推理token需求超预期,GPU资源无法满足现有AI需求[9] 智算中心建设动态 - 2024年中国加速计算服务器市场出货量同比增长97.3%,2025年预计增长52.9%[4] - 2024年国内智算中心中标信息213条,是2023年53条的4倍,显示建设明显加速[4] - 香港数码港超算中心算力将从1300PFLOPS提升至3000PFLOPS,第一阶段使用率超95%[6][7] 国产芯片应用突破 - 推理环节降低对芯片性能要求,国产AI芯片如华为、沐曦、壁仞等获得测试机会[10][12] - 寒武纪2024年Q1营收11.11亿元(接近2023全年),净利润3.55亿元实现扭亏[12] - 电信运营商建设基于国产算力的万卡集群,国产算力适配DeepSeek后利用率提升[8] 英伟达市场策略调整 - 英伟达在中国市场份额从95%降至50%,黄仁勋称出口管制存在根本性缺陷[13] - 拟推出采用Blackwell架构的新款中国特供AI芯片,定价低于H20以应对竞争[13] - H20芯片出口需许可证,英伟达面临国产替代加速的压力[11][13] 高校与企业算力需求 - 香港科技大学采购英伟达H800计算卡但仍需补充算力,高校采用混合云架构降本[5] - 华东理工大学将AI用于锂电池催化设计,私有云与公有云混合模式成为主流[5] - 企业AI应用处于早期尝试阶段,缺乏人才配套导致转型进度缓慢[7]