AI云原生

搜索文档
豆包概念震荡拉升 润欣科技涨超15%
快讯· 2025-06-09 10:42
行业动态 - 豆包概念股盘中表现强劲 润欣科技涨幅超过15% 光云科技、海天瑞声、引力传媒、汉仪股份等多只股票涨幅超过5% [1] - 2025火山引擎原动力大会·春将于6月11日-12日举行 聚焦大模型与AI云原生等前沿技术领域 [1] 会议内容 - 大会讨论主题包括Agent开发、多模态理解、深度思考、AI云原生等多个前沿技术话题 [1]
传统云还在「卖铁」,下一代云已在「炼钢」:火山引擎xLLM如何一张卡榨出两张的性能!
机器之心· 2025-05-27 12:11
机器之心报道 编辑:Panda 大模型越来越聪明,企业却似乎越来越焦虑了。 模型性能突飞猛进,从写文案到搭智能体(Agent),AI 掌握的技能也越来越多。但一到真正上线部署,问题就来了:为什么推理成本越来越 高?算力投入越来越多?效果却不成正比? 现如今,推理大模型已经具备服务复杂业务场景的实力。但是,要想让它们在工作时有足够快的速度,企业往往不得不大力堆卡(GPU),从 而满足 T PO T (平均输出一个 Token 的时间)和 TPS (每秒 Token 数)等指标。也就是说,在迈过了模型性能的门槛之后,企业却发现大模 型落地还有另一个高耸的门槛: 推理效率 。 为了响应这一需求,云厂商不约而同地把目光投向了「卖铁」,也就是上更多、更新但也更贵的卡。但它们的客户面临的问题真的是「卡不够 多不够强」吗? 火山引擎给出的答案是:不是卡不够多,也不是卡不够强,而是没「炼」好。 这家已经高举「 AI 云原生 」旗帜的云服务平台已经在「炼钢」这个方向上走出了自己的道路,其推出的 xLLM 大语言模型推理框架具有堪称 极致的性能,能低时延、高吞吐地支持大规模部署: 用同样的 GPU 卡,计算成本仅为开源框架的二分 ...