本地部署

搜索文档
618想换电脑跑AI?先听我一句劝。
数字生命卡兹克· 2025-06-04 23:08
本地AI部署与设备选择 核心观点 - 本地部署AI模型需考虑算力需求和隐私安全两大核心因素[5][6] - 参数量与显存关系决定本地可行性:1B模型需4GB显存(FP32),量化后8B模型仅需16GB显存[11] - 14B及以上模型本地运行需高端显卡(如4090/5090),14B以下需评估显存匹配度[14] 模型部署场景分析 - **本地适用场景**: - 涉及商业机密/医疗数据等隐私敏感场景[16] - 影视工业案例:《流浪地球3》剧本AI辅助需本地5090D部署[17][18] - 免费无限使用优势,如ComfyUI图像生成工具[24] - **云端适用场景**: - 企业级大模型部署(如Qwen2.5 72B需4张48GB显存卡)[24] - 临时算力需求可通过AutoDL租用云服务器(4090实例¥2.4/小时)[25] 硬件配置标准 - **显存计算公式**: | 精度类型 | 参数量 | 显存需求 | |---|---|--| | FP32 | 1B | 4GB | | FP16/INT8 | 8B | 16GB | [11] - **显卡推荐阈值**: - 基础需求:5060Ti/5070(12GB显存)支持7B模型[19][22] - 高性能需求:5090D处理工业级工作流[18] 主流模型性能数据 | 模型类型 | 代表模型 | 参数量 | 显存需求 | |---|---|---|---| | **语言模型** | DeepSeek-R1-Qwen3-8B | 8B | 16GB | [11][13] | **图像生成** | SDXL | 6.6B | 8-12GB | [16] | **视频生成** | Wan 2.1 | 1.3B | 16-24GB | [16] 618高性价比设备推荐 | 价格档位 | 机型 | 核心配置 | 折扣价 | |---|---|---|---| | 5000元 | 机械革命极光X | 5060 8G+i7-13700HX | ¥5332 | [26] | 7000元 | 华硕天选6 Pro | 5070 12G+8940HX | ¥7599 | [33] | 8000元 | 机械革命蛟龙 | 5070Ti 16G+R9-8945HX | ¥7873 | [36]
从腾讯百度到车企券商,为何「万物」都想接入 DeepSeek?
声动活泼· 2025-03-14 13:45
根据国泰君安的研报,自从 DeepSeek 爆火之后,接入他们大模型的需求在短时间内迅速增加。从 2 月初至 今,腾讯、百度、阿里等互联网大厂,不仅在各自的云计算平台上线了 DeepSeek 模型。在直接面向用户的 业务上,即使这些巨头都拥有自己的大模型,但依然让旗下的部分应用接入了 DeepSeek。其中,包括月活 跃用户量达 13.8 亿的微信,以及曾因广告收入受影响、对 AI 搜索存在顾虑的百度。 除了互联网大厂,吉利、一汽大众等几十家车企、华为等主流手机厂商、三大电信运营商,也都在短时间 内完成了接入。甚至有些银行、券商、公募基金,以及国内部分地区的各类政府部门,也加入了这个行 列。比如,有些银行把 DeepSeek 应用到了面向用户的智能客服上。深圳、广州、呼和浩特、无锡等地的政 府,也宣布在政务系统中接入了 DeepSeek 模型,希望提升政务办公效率和群众办事体验。 那么,从汽车品牌到券商甚至政府,为什么大家纷纷都想要接入 DeepSeek? ▲ 近日,吉利汽车正式官宣其自研大模型与 DeepSeek 已完成深度融合。| 图源:吉利汽车集团微信公众号 财新的报道指出,腾讯等大厂积极接入 Deep ...