DeepSeek V2

搜索文档
万字解析DeepSeek MOE架构!
自动驾驶之心· 2025-08-15 07:33
作者 | 浮生梦晓 编辑 | 大模型之心Tech 原文链接: https://zhuanlan.zhihu.com/p/21584562624 点击下方 卡片 ,关注" 大模型之心Tech "公众号 戳我-> 领取大模型巨卷干货 >> 点击进入→ 大模型没那么大Tech技术交流群 本文只做学术分享,如有侵权,联系删文 ,自动驾驶课程学习与技术交流群事宜,也欢迎添加小助理微信AIDriver004做进一步咨询 正文开始前的碎碎念 MOE全称是Mixture of Experts,也就是混合专家模型,本人最早关注到MOE架构是23年底Mistral.AI发布的Mixtral 8*7B模型,记得当时这个模型引 爆了这个AI圈对于MOE稀疏架构的关注,很多人(包括我)才开始关注到MOE架构,陆陆续续的看了一些MOE应用在Transformer架构上的相关论 文,包括GShard、Switch Transformer等,现在来看,其实MOE架构存在的时间很久远,在Transformer架构没有出现之前就已经针对机器学习的模 型进行过应用,最早像1991年就有《Adaptive Mixtures of Local Exp ...
DeepSeek爆火100天:梁文锋「藏锋」
36氪· 2025-05-16 17:21
核心观点 - DeepSeek R1的发布将AI行业焦点从GPT模式转向Reasoner模式,标志着AI发展的新里程碑 [3][9] - 梁文锋的低成本大模型训练策略引发行业震动,挑战英伟达的高端算力芯片需求,导致其股价单日蒸发近6000亿美元 [4][5][6] - DeepSeek的开源策略和性价比路线重构了中美AI发展路径,国内科技大厂纷纷跟进降价并调整战略 [14][15][37][40] 行业影响 - 国内科技大厂加速C端应用布局,腾讯、字节等接入DeepSeek后实现用户增长,腾讯元宝下载量一度登顶 [40][41] - 行业分裂为两条路线:坚持Scaling Law的硅谷企业(如OpenAI融资400亿美元)与追随DeepSeek性价比策略的中国企业 [37][38] - AI六小龙等国内创企受冲击,零一万物放弃AGI转向行业模型,其他公司转向Agent应用或垂直领域 [38][39] 公司动态 - DeepSeek爆红后估值达80亿美元寻求融资,但暂未扩建算力或追逐用户规模,保持独立开源定位 [29][30][32] - 公司技术迭代加速:发布NSA架构挑战Transformer,参数规模从7B扩展到671B,数学和代码模型性能显著提升 [35][36] - 团队押注数学/代码、多模态、自然语言三大方向,创始人梁文锋持续参与技术研发并保持低调作风 [19][34] 产业链反应 - 英伟达H20芯片因DeepSeek需求激增遭美国出口管制,预计损失55亿美元,紧急开发中国特供版 [7][8] - 科技大厂启动"天才少年"计划争夺年轻人才,试图复制DeepSeek的创新模式 [42] - 马化腾、李想等国内大佬公开赞赏梁文锋,硅谷则对其持质疑态度 [23][24]
快看!这就是DeepSeek背后的公司
梧桐树下V· 2025-01-29 11:16
公司基本信息 - 公司全称为杭州深度求索人工智能基础技术研究有限公司,英文名Hangzhou Deep Search Artificial Intelligence Basic Technology Research Co Ltd,成立于2023年7月17日 [2] - 注册资本1000万元且已完成实缴,法定代表人裴湉,注册地址为杭州市拱墅区环城北路169号汇金国际大厦西1幢1201室 [2][3] - 截至2023年底公司社保缴费员工4名,企查查行业分类为信息系统集成服务,规模为微型企业 [2][3] 业务与技术 - 公司专注于通用人工智能模型(AGI)研发,主要产品包括开源大语言模型DeepSeek LLM、MoE模型DeepSeek MoE、代码模型DeepSeek Coder系列、数学模型DeepSeek Math及多模态模型DeepSeek-VL系列 [4] 股权结构与股东 - 股东为宁波程恩企业管理咨询合伙企业(有限合伙)持股99%和梁文锋持股1% [6] - 宁波程恩成立于2023年7月31日,出资额1200万元,其合伙人包括梁文锋(50.10%)、宁波程信柔兆企业管理咨询合伙企业(49.80%)和宁波程普商务咨询有限公司(0.10%) [6][9] - 梁文锋通过多层持股控制宁波程信(68.14%股权)和宁波程普(68.21%注册资本) [6] 关联企业与变更记录 - 宁波程恩、宁波程信、宁波程普均成立于2023年7月下旬,晚于杭州深度求索的成立日期(7月17日),三家企业执行事务合伙人均为梁键 [8][9] - 公司初始为北京深度求索全资子公司,2023年8月2日股权转让给宁波程恩和梁文锋,同日注册资本从100万元增至1000万元 [11] - 北京深度求索成立于2023年5月16日,曾与杭州深度求索形成交叉持股结构(双方互相100%持股),后调整为现有股权架构 [11]