AI前线

搜索文档
从 DeepSeek 部署看,华为如何让 MOE 架构“迎来”海量“专家”?
AI前线· 2025-05-22 12:30
模型开发趋势 - 模型开发从算法层优化转向系统工程层面的深度创新 [1] - 行业从数字化时代的比特流量转向Token经济体系,国内Token日消耗量从千亿级跃升至十万亿级 [1] - 头部平台如DeepSeek日均处理6000亿Token,验证高吞吐、低时延系统的商业价值 [1] - 模型结构从单一架构探索发展为多模态融合创新,分布式集群部署成为新常态 [1] - ChatGPT和DeepSeek用户规模突破亿级的时间从1个月压缩至7天,系统处理能力实现数量级提升 [1] 华为对DeepSeek的优化 - 华为针对DeepSeek的优化包括预训练、算子层面、计算与通信优化、内存优化等方面 [3][6][7][10] - 预训练方面,华为复现并改进DualPipe技术,最终提出DualPipe-V方案,优化显存使用并集成至MindSeed [6] - 算子层面实现MRN的PO融合算子,提升执行效率 [7] - 计算与通信优化包括低时延通信优化和双链路通信掩盖 [7] - 内存优化方面,华为自研重计算技术,节省多个GB显存,适用于计算量小但激活值大的操作 [10] 推理优化与系统架构 - 华为提出PD(Prompt Decoder)分离部署,降低首token延迟并提升整体推理效率 [12] - 针对MOE架构,华为研发"超节点"架构,通过高速总线将上百张GPU卡互联,显著减少通信时延 [14] - 超节点架构采用统一内存编辑和语义通信,实现TB级带宽超高速互联 [14] - Atlas 900 A3 SuperCluster突破Scale up物理节点计算瓶颈,训练效率提升2.7倍 [15] - 在A3超节点集群上完成DeepSeek V3训练优化,达到每卡1,216 TPS吞吐率,MFU达44.57% [15] MOE架构与负载均衡 - MOE架构专家数量不断增加,DeepSeek V3/R1已有288个专家 [13] - 华为引入动态专家并行策略,取代传统张量并行,规避显存和计算浪费 [17] - 通过静态、分段及动态均衡负载算法,解决专家并行带来的负载均衡问题 [17] - 华为发布OmniPlacement算法,识别热/冷专家,优化计算均衡,理论上降低10%推理延迟并提升10%吞吐量 [19]
3 层人群定位 × 5 种赋能手段,企业全员数据能力提升指南 | 极客时间企业版
AI前线· 2025-05-22 12:30
在 AI 重构商业规则的今天,数据能力已不再仅是企业的"数字化配件",而是驱动智能革命的"数字神经中枢"。数据是 AI 价值爆发的"第一性原理"。无论 是大语言模型对万亿级 token 的吞噬,还是工业 AI 对千万传感器信号的解析,缺乏高质量数据喂养的 AI 系统如同无米之炊。当传统企业的竞争停留于 产品功能迭代时,数据驱动的企业已构建起"感知 - 决策 - 行动"的智能闭环,数据密度与业务智能度呈现指数级正相关。 当前,众多企业在构建数据人才体系时普遍存在一些问题:缺乏系统化培养路径,难以匹配不同层级员工的差异化需求;缺少实战导向的方法论,人才 培养与业务场景脱节;以及专业师资与前沿课程资源不足。这些瓶颈正成为企业释放数据价值、实现智能升级的重要阻碍。对此,极客时间打造了一套 覆盖"战略规划 - 业务落地 - 技术支撑"全链条的数据人才培养体系,帮助企业全员建设数据能力的解决方案。 企业数据人才培养痛点与挑战 在当今全球化时代,数据已成为企业和国家发展的重要战略资源。培养数据方向人才对于企业提升竞争力和推动国家数字经济发展具有重要意义。全球 范围内对数字经济的重视程度日益提升,众多国家和国际组织围绕数据人 ...
博士宿舍激情脑暴,革新了Scaling Law?Qwen和浙大联手推出新定律,直接干掉95.5%推理内存!
AI前线· 2025-05-21 18:04
核心观点 - 阿里巴巴与浙江大学合作提出并行计算缩放定律(ParScale),通过增加模型并行计算而非参数数量提升大模型能力,内存增加量仅为参数缩放法的4.5%(1/22),延迟增加量16.7%(1/6)[1] - ParScale可通过后训练少量token将预训练模型转为并行缩放模型,降低训练成本,适用于任何模型结构、优化过程或任务[1][7] - 该方法在数学、编程等强推理任务中表现突出,P=8时编码任务提升4.3%,数学任务提升7.3%,GSM8K准确率提高10%[15][16] 技术实现 - **并行流机制**:输入通过多样化前缀生成多视角版本,并行处理后动态加权融合输出[13] - **两阶段训练**:第一阶段1T token传统训练,第二阶段仅20B token微调实现ParScale适配[14] - **计算效率**:复用现有参数扩展并行路径,内存占用仅为参数扩展法的1/22,延迟为1/6[1][19] 性能验证 - **基准测试**:在常识(MMLU)、数学(GSM8K)、编码(HumanEval)等任务中,P值越大性能提升越显著[15] - **成熟模型适配**:在已训练18T token的Qwen-2.5模型上应用,持续预训练和参数高效微调均获显著提升[16] - **边缘设备优势**:适合手机、汽车等小batch场景,内存和延迟效率优于传统方法[18][19] 行业应用前景 - **低成本部署**:通过后训练适配现有模型,降低资源需求,促进低资源场景应用[1][12] - **动态调整能力**:同一模型权重可灵活调整并行流数量,实时平衡性能与推理开销[16] - **技术互补性**:未来可能与MoE架构结合,形成内存友好与延迟友好的混合方案[19] 开源与社区反馈 - 代码已在GitHub开源,HuggingFace提供体验链接[2] - 社区评价为"突破性思路",尤其看好边缘计算场景的适用性[18] - 研究团队计划扩展至MoE架构及更大规模数据验证[19]
汤道生:腾讯持续加大 AI 投入力度,各项业务全面拥抱 AI
AI前线· 2025-05-21 18:04
核心观点 - 生成式AI的可用性已从"量变"到"质变",模型深度思考能力突破推动产业普及[1][3] - 公司提出"四个加速"战略:大模型创新、智能体应用、知识库建设、基础设施升级,推动AI技术落地[4] - AI正推动企业向"AI公司"转型,个人成为"超级个体"[1][3] 模型创新 - 腾讯混元大模型推出深度思考模型T1和快思考模型Turbo S,响应速度、抗幻觉等能力业界领先,Chatbot Arena排行全球前8[5] - 混元T1-Vision结合多模态与深度思考,混元Voice实现低延时实时通话,情感表达细腻[5] - 混元3D模型支持超高清几何建模,混元Image 2.0实现商用级实时生图,速度快且超写实[5] - 混元开源模型覆盖文本、图像、视频和3D生成,GitHub总Star超3万,多次登顶Hugging Face趋势榜[6] - 混元大模型已应用于政务、医疗、教育等30多个行业,腾讯健康AI导辅诊服务覆盖近1万家医疗机构[6] 智能体应用 - 智能体开发平台支持零代码多Agent协同,降低搭建门槛,提供工作流模式和全局视野Agent[8] - QQ浏览器推出智能体QBot,可自动完成搜索、下载等任务链[9] - 即将推出AI高考通,结合考生能力与兴趣生成志愿填报方案[9] - 腾讯云代码助手CodeBuddy缩短85%开发岗员工编码时间40%以上[10] - 企点营销云Agent与绝味食品合作,活动点击率提升40%,转化率提升25%[10] 知识库建设 - 腾讯乐享企业AI知识库打破部门壁垒,支持多人在线编辑与权限管控[12] - 科沃斯利用知识库实现导购AI助手,推动门店人效两位数提升,年省成本数百万元[12] - ima"知识号"吸引创作者贡献超1000万篇内容,服务百万级用户问答[9] 基础设施升级 - 腾讯云AI infra通过IaaS与工具层协同优化推理场景响应速度与性价比[2][13] - 训练infra综合性能提升30%,TI平台支持潮汐调度实现算力灵活调配[13] - 荣耀手机部署DeepSeek-R1服务,推理吞吐最高提效54%[13] 行业应用案例 - 广告业务AI驱动实现双位数收入增长,游戏AI优化匹配提升用户粘性[3] - 腾讯云大模型API调用量激增,语音交互带动ASR/TTS需求[3] - 医疗领域推出AI健康管理助手,自动解读体检报告并制定个性化计划[9]
谷歌AI核爆:升级全系模型,Gemini 2.5双榜登顶!所有产品用AI重做,OpenAI如何接招?
AI前线· 2025-05-21 18:04
模型升级 - 谷歌为Gemini 2.5 Pro引入Deep Think推理模型,该模型采用前沿研究成果,具备在回应查询前权衡多种假设的能力[6][7][9] - 2.5 Pro Deep Think在2025 USAMO数学基准测试中表现优异,在LiveCodeBench编程基准测试中领先,在MMMU多模态推理测试中获得84.0%分数[10] - 谷歌发布性能更强的Gemini 2.5 Flash模型,推理效率提升,令牌消耗减少20-30%,在多模态处理、代码生成及长文本理解等基准测试中均超越前代[12] 模型功能 - Gemini 2.5系列引入原生音频输出和Live API改进,支持24种语言的文本转语音功能,可控制语气、口音和说话风格[16][17] - 引入"思考预算"概念,允许用户平衡token消耗与输出精度/速度的关系[15] - 增强安全防护能力,显著提高对间接提示注入攻击的防护率,成为最安全的模型系列[18] 开发者工具 - 推出编码助手Jules公测版,使用Gemini 2.5 Pro,能编写测试、构建新功能、修复bug等,支持异步运行和GitHub集成[30][31][37] - 新增"思维摘要"功能,可将模型原始推理过程结构化输出,帮助开发者理解模型决策逻辑[22] - 为Gemini API和Vertex AI引入Project Mariner电脑操作能力,支持多任务处理和自动完成重复性任务[15][18] 搜索业务 - AI概览功能已覆盖15亿用户和200个国家和地区,在美国和印度等市场推动查询类型增长超过10%[23] - 推出全新AI模式搜索,支持更长、更复杂的查询,早期测试人员查询长度是传统搜索的2-3倍[24][25] - Gemini 2.5模型将在美国Google搜索中推出,提供更快更准确的AI响应[25] 多模态与硬件 - 推出视频模型Veo 3和图像生成模型Imagen 4,均具备原生音频生成功能[27] - 宣布与Xreal合作开发Project Aura智能眼镜,内置Gemini并针对XR优化[38][39][41][42] - Project Astra升级为通用AI助手雏形,增强记忆能力和计算机控制功能[34][35][36]
重磅!微软宣布开源Copilot!用 5000 万用户直接碾压 Cursor和Windsurf?
AI前线· 2025-05-20 09:24
微软开源GitHub Copilot - 微软在Build 2025开发者大会上宣布开源GitHub Copilot Extension for VSCode项目,采用MIT许可证,全球开发者可免费访问完整源代码并参与改进[1] - 开源计划分阶段实施:先开源GitHub Copilot Chat扩展代码库,随后将其整合至VSCode核心代码,预计6月初发布新版VSCode[4] - 开源核心理由包括:大模型能力提升使提示策略壁垒降低、AI交互体验设计趋同、VSCode开源AI生态成熟以及提升系统透明度[5] - 这一决策标志着AI开发工具从"黑盒"向"共建"时代转变,是技术成熟、生态完善等多重因素推动的结果[6] Copilot Agent功能升级 - 微软发布全新AI编码代理,可自动完成修复bug、添加功能、优化文档等任务,深度集成至GitHub Copilot[8] - 代理能自动启动虚拟机、克隆代码库并分析,实时保存改动并记录推理过程,任务完成后主动提醒开发者审查[8] - 通过模型上下文协议(MCP),代理可访问GitHub外部数据,所有GitHub数据可从官方MCP服务器提取[9] - 与Cursor和Windsurf等"氛围编码"工具不同,GitHub编码代理更侧重维护和优化现有代码库[11] 市场影响与竞争格局 - GitHub Copilot目前拥有1500万用户,是去年同期的四倍,新增代理模式功能以应对Cursor和Windsurf竞争[12] - VS Code已拥有5000万用户,开源Copilot有助于扩大分发范围并触达更多VS Code用户[13] - 谷歌和OpenAI已分别推出Jules和Codex编码代理,行业竞争加剧[10] - GitHub年收入超过20亿美元,显示AI编码工具市场持续增长[12]
靠"氛围编程"狂揽 2 亿美金,Supabase 成 AI 时代最性感的开源数据库
AI前线· 2025-05-20 09:24
Supabase发展里程碑 - 2025年站上"Vibe Coding"开发趋势风口,成为AI原生应用首选后端 [1] - 2025年完成2亿美元D轮融资,投后估值达20亿美元,累计融资近4亿美元 [1] - 管理350万个数据库,服务超200万开发者,GitHub代码库得星数超8.1万 [17] Vibe Coding工作流 - 开发流程:从PRD文档→数据库schema设计→服务实现的全AI工具链协作 [4] - 典型工具组合:Grok生成PRD + Cursor/Claude生成代码 + Supabase后端部署 [4][5] - 效率提升:Lovable等平台结合Supabase可实现"提示词生成全栈应用"的极速开发 [5] 技术整合与产品演进 - 2023年2月集成PGVector扩展,支持RAG应用开发 [11] - 2023年与Ollama集成实现本地AI开发环境 [11] - 2023年12月推出AI助手,获Product Hunt年度最佳数据产品奖 [13] - 2025年上线MCP服务器,实现AI工具与数据库的深度连接 [14] 竞争优势 - 开源策略:40%员工来自开源贡献者,25款开源工具强化Postgres生态 [11][17][21] - 产品定位:直接基于PostgreSQL开发,相比Firebase减少抽象层 [17][21] - 商业模式:坚持不涨价策略,通过规模效应实现盈利 [20][21] 行业影响 - 被Accel比作"新时代的甲骨文/MongoDB",预计在高价值数据库领域占据主导 [21][22] - 成为Bolt.new、Lovable、Vercel v0等前沿开发平台的标准后端配置 [5][8] - 远程团队布局新西兰/秘鲁/马其顿,持续扩展AI与企业应用市场 [22]
黄仁勋发力支持Agent、新设中国研发点,贾扬清Lepton被收购后现状曝光!
AI前线· 2025-05-19 17:11
人工智能基础设施与计算平台 - 英伟达CEO黄仁勋强调AI将成为像互联网和电力一样的基础设施,公司定位为AI基础设施核心提供商 [1] - 发布扩展版Blackwell平台Blackwell Ultra AI,重点提升推理性能 [4] - 推出Grace Blackwell GB300系统,推理性能提升1.5倍,HBM内存容量增加1.5倍,网络连接能力翻倍 [8] - GB300系统达40 PFLOPS,相当于2018年Sierra超级计算机性能,六年内性能提升4000倍 [9] - 预告Vera Rubin超级芯片性能是GB300的3.3倍,CPU内存容量是Grace的4.2倍,预计2026年下半年量产 [10] - 宣布推出NVLink Fusion技术,支持构建百万级GPU规模的AI工厂,兼容多种ASIC芯片 [11][13] AI技术演进方向 - 提出Agentic AI概念,具备目标拆解、方案思考、后果评估和执行计划的能力 [5] - Agentic AI本质是数字机器人,遵循"理解、思考、行动"的闭环 [6] - Physical AI可理解真实世界物理规律,是机器人革命基石 [8] - 开发GR00T-Dreams系统自动生成机器人训练视频,Isaac GR00T-Mimic工具扩展人类演示数据 [25][26] - 与DeepMind和Disney合作开发物理引擎Newton,计划7月开源,完全支持GPU加速 [26] - 更新类人机器人基础模型Isaac GR00T N1.5,提升环境适应能力和任务成功率 [28][29] 计算架构创新 - 开发量子经典计算平台,预测未来超级计算机将集成GPU、QPU和CPU [22] - 存储架构变革方向为将计算节点嵌入存储机架,前端配备GPU [22] - CUDA生态形成正向循环:安装量增长推动开发者创建更多库和应用 [21] - 采用COOS-L新工艺实现大规模芯片制造,开发7.2TB/s的NVLink交换机 [9] - 推出RTX Pro Enterprise全能服务器,支持多模态AI应用和游戏 [14] 产品布局与合作伙伴 - 将在中国台湾建立宇宙飞船风格办事处NVDIA Constellation [1] - 联合台积电、富士康在中国台湾建设AI超级计算机 [16] - Project DIGITS个人AI计算机DGX Spark全面投产,即将上市 [18] - 展示个人超级计算机DGX Station,可运行1万亿参数大模型 [18] - 推出Lepton平台连接开发者与全球GPU资源,合作伙伴包括CoreWeave、软银等 [19] - 云服务提供商已采纳Grace Blackwell系统,包括Twitter等平台 [8]
curl 项目创始人被 AI“逼疯”,怒斥垃圾报告堪比 DDoS 攻击!网友:但老板们认为 AI 无所不能
AI前线· 2025-05-19 17:11
开源项目维护困境 - curl创始人Daniel Stenberg引入AI生成漏洞报告过滤机制,要求提交者声明是否使用AI并需提供证据验证[1][3] - 项目维护人员需耗费大量时间处理AI生成的无效报告,此类报告占比持续上升且从未发现真实漏洞[3][4][21] - curl项目自2019年支付8.6万美元漏洞赏金,但过去90天收到的24份AI生成报告均未获奖励[21] AI生成报告的行业影响 - Python开发团队Seth Larson指出AI报告导致维护者产生孤独感和职业倦怠,加剧开源人才流失[6][8] - 低质量AI报告被类比为DDoS攻击,消耗志愿者审阅时间并降低项目安全性[2][8][25] - 生成式AI降低漏洞赏金参与门槛,吸引低技能人士及部分有声誉者提交虚假报告牟利[22][24] 社区应对措施 - 开源社区需系统性改革,建立规范化贡献监管体系并增加资金支持(如Alpha-Omega计划)[9][10] - 漏洞管理平台需承担守门人责任,通过技术和管理手段遏制自动化工具滥用[13] - 开发者建议对明显AI生成的报告采取"一次警告+二次封禁"的过滤策略[28] 行业认知分歧 - 企业高层存在"AI替代论"误区,认为可裁减资深程序员依赖AI辅助开发[27] - 社区质疑AI垃圾报告背后存在恶意竞争,实际多为新手缺乏经验导致[28] - 开源项目维护模式脆弱性凸显,如curl仅靠3379名贡献者支撑26年[20]
年赚三亿美金、估值近百亿,Cursor竟无护城河?
AI前线· 2025-05-18 11:26
编译 | 傅宇琪 5 月 6 日,AI 编程黑马 Cursor 的母公司 Anysphere 完成了一轮 9 亿美元(约合人民币约 65 亿 元)融资,估值增长两倍多,达到约 90 亿美元(约合人民币约 654 亿元)。这款全球增长最快 的 AI 代码编辑器,推出仅两年便达到了 3 亿美元的年经常性收入,其背后成功的秘诀是什么? 最近,Anysphere 的联合创始人兼首席执行官 Michael Truell 在播客节目中,与主持人 Lenny 详细回忆了 Cursor 构建过程中的经验教训,团队搭建的心得,以及如何为即将到来的 AI 未来做 好准备的建议。基于该播客视频,InfoQ 进行了部分增删。 核心观点如下: Cursor 的构建 L enny : Cursor 正在改变人们构建产品的方式、职业生涯、行业等等,这一切是如何开始的 呢?初期有没有什么难忘的时刻? Michael: 最初,两个关键时刻让我们对 AI 产品充满兴奋。其一是在使用 Copilot 测试版时,我 们感受到 AI 从虚拟演示转变为了真正实用的工具。另一个是 OpenAI 发布的关于技术扩展的研 究论文,表明了 AI 可以通过简单手 ...