Workflow
褐蚁一体机
icon
搜索文档
不到15万元!清华90后团队发布“褐蚁”一体机,已支持阿里最新Qwen3模型|钛媒体AGI
钛媒体APP· 2025-04-30 23:09
公司产品发布 - 行云集成电路推出全新“褐蚁”大模型推理一体机,最高配置仅需14.9万元即可跑满血版DeepSeek R1/V3大模型,对话速度达20token/s [2] - “褐蚁”一体机已支持阿里最新发布的Qwen3系列开源大模型,包括顶配版Qwen3-235B-A22B [2] - 产品提供三款配置:最高性价比的“超大杯”褐蚁HY90,以及即将推出的“大杯”褐蚁HY70和“中杯”褐蚁HY50 [2] 产品规格与性能 - “超大杯”褐蚁HY90搭载双路AMD EPYC 9355服务器CPU、24条48G 6400M频率内存和NV 5090D计算卡,支持FP8和INT4两种数据精度 [2][3] - 褐蚁HY90在FP8精度下跑满血版DeepSeek模型对话速度达21token/s,在INT4精度下达28token/s,最高支持128K上下文 [2][3] - 褐蚁HY90在FP8精度下,1K上下文速率21.5+tps,2K上下文速率20+tps,16K上下文速率19+tps [3] - 褐蚁HY90首字延迟在8K上下文内不超过40秒,16K上下文内不超过80秒,支持知识库RAG和开源大模型,交货期1个月以内,保修期2年 [3] - 公司通过对推理引擎的独家优化提升效率,是国内首个在10万价位提供满血FP8精度模型20+tps速率的一体机产品,并可配置各类调用大模型API的应用 [3] 公司背景与团队 - 行云集成电路成立于2023年8月,核心团队主要来自清华大学及全球顶尖芯片公司,致力于研发针对大模型推理场景的高效能GPU芯片 [4] - 创始人兼CEO季宇为31岁的清华大学物理本科、计算机体系结构方向博士,曾为“华为天才少年”之一,主攻体系结构与AI芯片方向,曾是海思昇腾芯片编译器专家 [4] - 公司CTO为余洪敏 [4] - 2024年11月,公司完成总额数亿元的天使轮及天使+轮融资,投资方包括智谱AI、仁爱集团、中科创星、奇绩创坛等多家知名机构 [4] 行业背景与市场 - 目前多家芯片、服务器、云计算、运营商、AI Infra等领域公司都发布了DeepSeek一体机产品,形成“百机大战”,但可运行满血版DeepSeek-V3/R1模型的企业不多 [5] - 国产GPU芯片层面主要有壁仞科技、摩尔线程等公司 [5] - 据券商数据预计,到2027年国内一体机市场规模将超过5000亿元,超过30家企业已向市场推出了一体机产品 [5] - 行业观点认为,一体机核心解决部署易用性问题,相比云计算方案落地周期更快、私有化安全性更高、价格更有性价比 [5] - 但行业也指出一体机存在持续维护、升级、大规模数据调度等挑战,以及综合使用成本无法复用的问题,有观点认为推理一体机是过渡态产品,最终大模型需与云计算结合 [6] - 公司CEO季宇认为,当前一体机仍能跑动超大杯MoE模型和30b当量的dense模型,后续模型迭代问题不大,且“褐蚁”在显存、KTransformers等技术层面有更多研发能力 [6] 公司未来规划 - 公司下一步将自研GPU卡,以持续带来更低价格和更高tps体验 [7] - 公司计划实施由30台褐蚁一体机组成的“蚁群”方案,发挥分布式系统优化能力,或将支持500-1000的有效并发数,价格有望降至300万-400万元,低于英伟达HGX H200集群的整体硬件成本 [7] - 公司CEO季宇的最终目标是为AI构建x86,让AI PC与互联网底座重回组装机模式,将组装机打造成AI基座,低成本搭建高端大模型,激活AI服务器组装机体系 [7]