合成数据

搜索文档
具身空间数据技术的路线之争:合成重建VS全端生成
量子位· 2025-04-20 21:24
具身智能数据挑战 - 高质量数据是具身智能突破的关键[1] - 现实数据采集成本过高,合成数据技术成为重要解决方案[2] - 当前具身智能数据存在数量少、场景单一、语义标签粗略等问题[16][17] - 自动驾驶已建立城市级仿真数据闭环,但室内环境缺乏3D合成平台[4][18] 技术路线之争 - 两条主流技术路径:"视频合成+3D重建"与"端到端3D生成"[3] - 视频合成路线存在模态转换链路过长、误差累积、精度瓶颈等问题[24][39] - 端到端3D生成路线理论效率高但面临常识欠缺、现实合理性不足等挑战[67][69][70] - 视频合成路线代表案例:群核科技SpatialLM+SpatialVerse[28][31]、Hillbot Cosmos+Sapien[35][37] - 端到端3D生成代表方法:GNNs[49]、自回归Transformer[53][54]、扩散模型[60]、程序化生成[62] 模态编码创新方案 - 提出"模态编码"技术,将空间设计规则转化为可学习的数学结构[5][75][77] - Sengine SimHub通过强化学习嵌入行业知识,生成兼具功能性与合理性的3D场景[76][78] - 模态编码支持从户型图/功能需求到结构化3D数据的自动转译,提升语义理解能力[81] 行业现状与趋势 - 机器人运动控制能力已成熟,但环境感知与推理能力仍是短板[98] - 现有合成数据技术难以满足家庭场景的多样性与交互真实性需求[18][40] - 未来需构建支持规则嵌入、偏好吸纳、交互可控的空间数据生成体系[90][94] - 合成数据将成为具身智能迈向通用能力的关键推动力[100] 代表性研究进展 - 李飞飞团队BEHAVIOR基准基于mesh网格生成,缺乏语义标注[25][30] - ATISS利用自回归Transformer生成合理室内布局[54][57] - DiffuScene通过扩散模型生成物理合理的完整场景[60][62] - Infinigen Indoors通过程序化生成实现高可控性3D场景[62][80] - SceneTeller展示语言到3D场景的强映射能力[65][67]
阿里云前高层创办的Lepton AI,被英伟达看中了!
证券时报网· 2025-03-28 20:32
文章核心观点 全球半导体巨头英伟达即将以数亿美元估值收购人工智能初创企业Lepton AI,这是对其自身技术生态的有力补充,也将助力Lepton AI发展,同时英伟达还将收购另一家人工智能初创企业Gretel [1][4][5] Lepton AI情况 - 成立于2023年,创始人为贾扬清和Junjie Bai,约有20名员工,客户含多家风投支持的初创公司 [3] - 创立的平台针对AI工作负载优化,可用于训练AI模型和执行推理,提供可视化界面设置训练集群,有多种英伟达显卡供选择,还提供集中管理硬件数量的工具 [3] - 平台具备检测AI模型训练错误和发现技术问题的功能,模型开发完成后可部署在推理优化实例上,承诺每秒超600个令牌处理速度且延迟保持在10毫秒以下,有自动扩展功能 [3] - 使用vLLM等开源工具加快推理速度,减少模型内存占用 [4] 英伟达收购原因及影响 - 面临云服务提供商竞争压力,寻求多元化发展,通过收购小型AI初创公司推动云和软件业务发展 [4] - 收购Lepton AI是对自身技术生态的有力补充,能满足市场对AI解决方案的需求,为芯片应用开辟新道路 [4] - 让Lepton AI获得更多资源和支持,加速技术创新和市场拓展,使技术成果更快转化为实际应用 [4] 另一收购情况 - 英伟达还将收购人工智能初创企业Gretel,该企业提供创建合成数据的工具,交易价值超3.2亿美元 [5] 创始人贾扬清情况 - 是全球AI架构领域知名技术人才,毕业于清华大学和美国加州大学伯克利分校 [6] - 曾在谷歌、Facebook工作,打造的深度学习框架Caffe成为Facebook重点部署框架之一 [6] - 2019年加入阿里巴巴,2023年离职创立Lepton AI,公司同年完成天使轮融资,英伟达收购完成后,天使轮投资机构将实现退出 [7]
大模型“神仙打架”,掀起复现潮、技术大升级后,我们需要关注什么? | 万有引力
AI科技大本营· 2025-03-25 09:45
大模型技术竞赛与行业动态 - DeepSeek连续五天开源引发复现热潮,阿里巴巴通义实验室和腾讯分别推出ViDoRAG系统和混元快思考模型Turbo S,加速大模型演进 [1] - 马斯克用20万张GPU训练Grok 3超越业界标杆,验证"大力出奇迹"定律 [1] - Claude 3.7 Sonnet编码能力大升级,AI编程技术平权时代加速到来 [1] - DeepSeek论文与Kimi"撞车",稀疏注意力与线性注意力机制成为Transformer后的关键探索方向 [1] - Manus模式的"虚拟机"概念迅速走红,正在重塑大模型运行方式 [1] DeepSeek的技术突破与影响 - DeepSeek R1发布引发全球热议,首次展示模型能以类似人类方式思考,采用第一人称表达推理过程 [6][7] - DeepSeek开源周发布五大项目,涉及算力加速、通信优化和存储处理三大领域 [20][22] - DeepSeek利润率高达545%,颠覆行业对大模型MaaS盈利能力的认知 [33] - DeepSeek的技术路线侧重小粒度Expert,强调效率,相比Grok 3的"暴力美学"更为高效 [45] - DeepSeek的推理架构为搜索体验带来颠覆性变化,推动"边搜边想"的新搜索逻辑 [7] 行业竞争格局与趋势 - 行业可能出现两条发展路径:少数企业继续堆砌算力追求极致模型,大多数企业选择小模型路线 [46] - "百模大战"第一阶段暂时由DeepSeek领先,竞争可能向多模态和具身智能演进 [30][31] - 新兴公司在AI基础设施和大模型训练领域面临巨大投入挑战,难以与头部企业竞争 [27][28] - 阿里Qwen在国际市场表现不俗,但在推理方面未能取得DeepSeek级别的突破 [26] - 量化公司如九坤转型成立AI部门,在系统优化和数据处理方面具有优势 [27] 技术演进与创新方向 - Attention机制面临算法复杂度高的问题,改进方向包括稀疏化和状态空间模型(SSM) [62][63] - DeepSeek提出的NSA(Neural Sparse Attention)在减少计算量的同时提升模型效果 [65] - 合成数据成为重要方向,在多模态、具身智能等领域应用广泛,精准度超越传统数据增强 [75][77] - 长上下文支持技术变革搜索领域格局,Gemini的100万token窗口展现强大能力 [50] - 代码模型可能成为通往AGI的路径,通过持续学习和技能库扩展实现能力进化 [81][83] 应用场景与商业化 - AI编程是首个经过PMF验证的应用场景,Claude 3.7和DeepSeek在代码能力上仍有提升空间 [78][80] - AutoPilot类工具如Devin更适合"万事开头难"场景,成本低于雇佣实习生 [78] - MaaS商业模式面临上游价格和下游支付意愿的双重挑战,运营效率成为关键壁垒 [33][34] - 私有化部署需求增长但面临数据治理挑战,建议企业优先使用API进行验证 [36][39] - 2B领域数据治理和处理服务需求旺盛,国内加速推进数据要素市场建设 [36] 基础设施与工程实践 - 训练大模型成本极高,智源发起OpenSeek开源项目,已吸引100多位贡献者 [9][10] - OpenSeek处理约100亿网页数据,构建4亿条CoT数据集,计划全面开源 [11] - 系统训练层面缺乏成熟框架支持,DeepSeek公开自研五个项目提升训练效率 [12] - 行业Infra团队和人才稀缺,更多关注0到1搭建而非1到100的优化 [21] - 虚拟机技术可能走红,因工具调用需要沙盒化环境执行任务 [84]
速递|英伟达天价收购80人团队Gretel,利用合成数据补全AI基础设施
Z Potentials· 2025-03-20 10:56
Nvidia收购Gretel - Nvidia收购了总部位于圣地亚哥的初创公司Gretel 收购价格据称达到九位数 超过Gretel最近3 2亿美元的估值 [1] - Gretel及其约80名员工团队将被并入Nvidia 其技术将作为Nvidia为开发者提供的生成式AI服务套件的一部分进行部署 [2] - Gretel由Alex Watson Laszlo Bock John Myers和Ali Golshan于2019年创立 Ali Golshan担任公司CEO 该公司对模型进行微调 添加专有技术 然后将这些模型打包销售 [2] Gretel融资情况 - Gretel在退出前从包括Anthos Capital Greylock和Moonshots Capital在内的投资者那里筹集了超过6700万美元的资金 [3] 行业背景 - 随着现实世界数据资源的枯竭 微软 Meta OpenAI和Anthropic等科技巨头已在利用合成数据来训练其旗舰AI模型 [3]
AI 月报:马斯克加速 GPU 竞赛;大模型真撞墙了? 风口转到 Agent
晚点LatePost· 2024-12-11 22:30
技术发展 - OpenAI在12月开启为期12天的密集发布活动,包括推出完整版o1模型、每月200美元的ChatGPT Pro、视频生成模型Sora等 [2] - 大模型行业面临能力提升瓶颈,Google、OpenAI、Anthropic等公司在开发下一代模型时未能实现前几年的显著性能跃升 [4][5] - OpenAI尝试用合成数据训练新模型Orion但效果不理想,同时行业探索更高精度数据、后训练优化等新方向 [16][17][18][19] 市场竞争 - OpenAI企业市场份额从50%降至34%,Anthropic份额从12%增至24% [22] - xAI以500亿美元估值融资50亿美元,Anthropic获亚马逊追加40亿美元投资,Writer以19亿美元估值融资2亿美元 [27] - 视频生成领域竞争加剧,Runway上线新功能,腾讯开源对标Sora的HunyuanVideo模型 [25][26] 算力竞赛 - 亚马逊、微软、Meta、Google四家公司今年资本支出超2000亿美元建设算力中心,并计划加大投资 [28] - Anthropic CEO预测2026年将出现耗资超100亿美元的算力集群,OpenAI提议建造千亿美元级数据中心 [28] - 英伟达加速产品迭代,计划2025年发布机器人专用芯片Jetson Thor [35][37] 应用落地 - ChatGPT周活用户达3亿,企业生成式AI支出飙升500%至138亿美元 [38] - AI编程成为竞争焦点,GitHub Copilot生成微软近半启动代码,Cursor以25亿美元估值获融资 [6][23][43] - Agent成为行业新赛点,OpenAI、Anthropic、智谱等公司加速布局智能体产品 [51][52][53] 行业投资 - 沙特宣布500-1000亿美元AI投资计划,波兰投入2.44亿美元开发本土大模型 [31] - AI制药公司Cradle获7300万美元融资,Enveda筹1.3亿美元推进药物研发 [61] - 具身智能领域Physical Intelligence以24亿美元估值融资4亿美元,银河通用获5亿元人民币投资 [29]
IDEA研究院沈向洋:从PMF到TMF, AI For Science是今天一定要做的事
IPO早知道· 2024-11-23 09:04
人工智能发展趋势 - 人工智能发展需要大量数据和合成数据,可能带来百亿美金规模的新机会 [2] - AI For Science是当前最重要的方向,今年诺贝尔奖的颁布是最好证明 [3] - 工业时代全球GDP年均增速1%-2%,信息时代3%-4%,人工智能时代增速将更高 [3] - AI能力逼近甚至超越人类,AI治理成为全球共同面对的议题 [3] 算力发展现状与趋势 - 过去几年新模型所需算力每年增长约4倍 [6] - 过去十年大模型训练对算力需求上涨100万倍,英伟达市值涨300倍 [7] - 英伟达H100芯片需求旺盛,微软、谷歌、亚马逊采购量巨大 [7] - 深圳未来可能成为全球唯二的算力中心之一 [5][7] - IDEA研究院拥有1000多张GPU卡,在深圳属于"小土豪"级别 [7] 算法与数据发展 - 2017年Transformer架构出现后,AI发展主要依靠堆数据和算力 [9] - GPT3使用2万亿Token,GPT4使用20万亿,GPT5可能需要200万亿 [10] - 互联网上高质量英文数据对AI训练至关重要 [10] - 合成数据将成为解决数据短缺的关键,可能创造百亿美金机会 [8][11] - IDEA Data Maker能节约85.7%的token消耗成本 [11] AI应用与创新 - IDEA研究院开发了MoonBit编程语言,希望改变中国无原创编程语言的现状 [13] - IDEA拥有化学、学术、营销、经济、运筹、投资、视觉等垂直领域大模型 [13] - ReadPaper学术大模型注册用户达99万,即将突破100万 [14] - DINO-X通用视觉大模型拥有物体级别理解能力,实现开放世界目标检测 [14] 大湾区发展机遇 - 大湾区是发展具身智能的绝佳机会,需要与企业特别是龙头企业合作 [15] - IDEA与腾讯合作建设福田实验室,聚焦具身智能技术 [15] - 与美团合作探索无人机视觉智能技术,与比亚迪合作拓展工业机器人应用 [15] - 深圳是用迭代软件速度迭代硬件的城市,大湾区机会巨大 [15] - IDEA与深圳市政府合作研究低空经济,提出建设四张网的基础设施 [16]