Workflow
DeepSeek本地部署加测试-为什么AI还要看算力
SKLTYSeek .(SKLTY) -·2025-02-11 17:29

纪要涉及的行业和公司 行业:人工智能行业;公司:DeepSeek 纪要提到的核心观点和论据 本地部署相关 - 本地部署方式:有云厂商提供的云部署本地化并开放API服务,以及允许用户下载模型文件在本地运行两种方式 [3][4] - 不同版本模型特点 - R1:是对四方模型V3的优化,使模型有思考能力,基于强大的V3基础模型,R1更好用;V3约670亿参数,满血版约671亿参数,文件大小700多G,运行需全部加载到GPU显存,单台12 - 16卡服务器性能最好 [5][6] - 真流版:有1.5B、7B、8B、32B、70B等版本,利用小模型强化学习和精调,具备R1部分思考能力,模型小可部署在多种设备,如1.5B可布在手机,7B、8B可布在安卓高配手机,但强化数据覆盖范围有限,主要强化编程、数学题、简单逻辑推理能力 [7][8] - 量化模型:通过降低权重文件表示精度(如用4位、1.58位代替8位)降低对硬件需求,但会损失精度,回答准确率降低 [9] - 测试结果 - 基础问题测试:千问系模型回答两个基本问题全对,但底层模型越大,阿温过度思考情况越严重;喇嘛模型原版本回答全错,加思考模型后回答正确,且与千问思考过程有区别 [13][14] - 评分表现:原生模型在GPQA的Diamond测试中,千问模型比拉曼模型表现好;加阿问真流后,拉玛模型与千问模型水平持平 [16] - 模型幻觉问题:部分模型在专业领域评分高,但幻觉力可能提高,需教育平衡的基础模型优化 [17] - 投研意义和成本问题 - 投研意义:可在本地设备运行模型处理文档和知识库,但关键是梳理自身知识和工作流、流通数据 [18] - 成本问题:真流版部署成本不高、速度快;DeepSeek原生版模型部署对硬件要求高,成本高 [18] DeepSeek的意义 - AI平权:提供接近或达到GPT - 4欧水平的模型,且大家至少可下载使用,实现AI平权 [20] - 免费服务:为用户提供与GPT - 4欧能力相近的免费服务 [20] - 研究意义:为研究者指出强化学习和优化的方向,加快AI发展进程 [21] 与市场观点不同之处 - 端测AI - 成本未降:DeepSeek R1出现未使端测AI真正降本,部署成本未降低,但能力提升扩展了应用场景,如AITC,但IPC之外应用存疑 [23][26] - 优化场景不符:R1能优化的编程、数学题、简单逻辑推理场景并非端测主力场景 [25] - 云服务:DeepSeek容量有限,云服务有机会;其API服务收费不怎么挣钱,但推理成本吞吐量高,综合TCO低,长期有望促进国产卡发展 [26][27][28] - 智能驾驶和人形机器人应用 - 人形机器人:有一定推动作用,但需采集足够数据;目前很多用GPT等模型API调用提升能力,但效果不佳,R1边缘侧部署成本未下降 [28][29][45] - 智能驾驶:对智能座舱有帮助,使对话更聪明;对自驾算法,R1目前无法直接支持函数调用,与agent兼容性不足,对agent应用推动不强 [30][32][34] - 算力需求:目前模型不够好,算力需求未因AI降本而降低,下一代基础模型出现前,巨头会加大投入,算力和数据确定性最大;看好顺序为大算力训练算力、AIPC和手机、AI硬件玩具 [37][39][42] 其他重要但是可能被忽略的内容 - R1作为提示词生产模型:R1可作为生产提示词的模型,将其思考过程作为提示词给到原生大语言模型,可提高原模型回答准确率,说明大语言模型通过更好提示词潜力可挖掘 [46] - 对投研的意义:DeepSeek为投研提供批量处理本地数据的选择,且Gemini、DeepSeek、DeepResearch和OpenAI DeepResearch能大量搜索和准确处理信息、汇总资料,将改变市场分析生态 [43][44]