群核科技 SpecialVerse 电话会议纪要关键要点 一、纪要涉及的公司与行业 - 纪要涉及的公司为群核科技及其旗下 SpecialVerse 团队，SpecialVerse 于 2024 年 11 月底年度峰会上正式对外宣布成立，前身自 2018 年起从事空间数据相关业务[3] - 群核科技旗舰软件产品包括国内酷家乐与海外 Coohom，为云原生空间编辑设计工具[3] - 涉及行业包括具身智能、视觉语言模型、3D 生成、XR 四大行业，客户以模型公司为主，同时与国内几大云服务商等生态伙伴合作[3] - 北美客户中包含一些在硅谷声名显赫的大型企业[11] 二、核心观点与论据 （一）数据来源与加工管线 - 数据来源之一为酷家乐与 Coohom 平台，全球拥有约 8,000 万至 9,000 万人次的月度服务用量，平台沉淀大量 3D 结构化数据资产，经技术管线处理和 IP 脱敏后可用于商业及研究用途[3] - 数据来源之二为自研模型管线，包括 3D 生成模型 LUCKS3D、重建模型 HoloReality 以及世界模型 SpatialG，形成自动化生成场景和资产的重要管线[3] - 数据加工分两部分：原始 3D 裸数据由工程化团队处理成可直接用于仿真的"SIM-ready"资产和场景结构；自研模型自动化生成的资产若需精细化后处理，则在工程管线中完成[3] - 最终交付物主要是"SIM-ready"的 3D 资产，包括模型资产和场景资产，并借助 HoloReality 等重建算法模型提供场景重建服务，该服务本身也是收费业务[3] （二）客户群体与合作模式 - 主要客户以模型公司为主，覆盖具身智能、视觉语言模型、3D 生成和 XR 四大行业[3] - 模型侧客户利用其数据作为基础模型视觉感知能力的数据供应商，知名 VLM 模型如 Cosmos 或 SEED 均有此类数据诉求[4] - 与云平台多为三方合作伙伴关系，云平台将数据打标、清洗等工具与数据打包，利用云算力及延伸服务进行销售[4] - 与高校及研究机构合作以科研项目为渠道，共同开展国家级、省级或学术项目，产出论文或科研成果[4] - 当前客户基本均为进行模型训练的客户，主要分为具身智能和多模态大模型两类[11] - 多模态大模型需要 3D 仿真数据，是因为具身任务首先要求模型理解和感知环境，仿真数据管线生成的数据天然具备严格 ground truth，避免真实采集数据噪点多、后处理困难且不精确的问题[11] - 客户选择合作的重要原因之一是数据本身的价值，体现在基于数据所做的工程和算法任务上，部分商业项目正是源于开源项目，客户看到开源项目与其执行任务相契合并发现数据有效性后选择合作[11] （三）开源项目与学术成果 - 团队开源路径可追溯至 2010 年发表的论文《Internet》，受李飞飞教授 2007-2008 年间发布的 ImageNet 启发，专注室内场景，开源相关数据集及工程管线，并由此获得首个重要客户[5] - 2020 年正式成立并开始市场拓展，服务大量以视觉感知为主的算法团队客户，涵盖扫地机器人、AR、视频生成等领域[5] - GPT 时代之后开始大规模投入 3D 相关工作和机器学习，为客户提供 SIM-ready 资产[5] - 开源工作从数据集《Internet》、Structure3D，到感知理解模型 Sense-LLM，再到 3D 语义数据集 Inter-GS[5] - Inter-GS 开源了 1,000 个室内场景，横跨 80 个不同类型，包含约 4 万个物体[5] - Inter-GS 构建方法并非传统扫描重建，而是在已有带 Ground Truth 的 3D 场景中利用自研渲染管线执行大量虚拟拍摄任务，生成高分辨率（2K 及以上）照片，再通过 3D 高斯管线生成带有语义标签的 3D 高斯数据[6] - 3D 高斯在仿真时渲染资源消耗较少，NVIDIA 在其机器人工具链 IC SIM 中也为此开源了 3D 高斯输入管线[6] - 基于 Inter-GS 推出 SAGE 3D 基准测试，验证利用 3D 高斯数据集能够训练出优质 VLM 模型，该论文成果被 ICLR 2026（2026 年 4 月于巴西召开）收录并获得良好评价，相关数据集受到美国硅谷多家公司关注[6] - 团队还在物理参数生成范式上做了 VLM 基准测试，即 2020 年发布的 Universe-Siam[6] - 技术积累过程从单点数据逐步扩展到感知、语义及可执行策略的系统性研究[6] （四）仿真技术核心难点与行业趋势 - 具身智能领域仿真的核心难点不仅在于引擎本身，更在于结构化且物理正确的场景和资产的供给[6] - 以 NVIDIA 的 Isaac Sim 为例，早期版本采用渲染管线和物理管线两套独立管线搭建，Isaac Sim 4 及之前版本物理管线主要使用源自游戏领域的物理引擎 PhysX[6] - Isaac Sim 在 5.0 版本后开源并引入第三方物理引擎生态 Newton，表明单一物理引擎难以完美解决所有物理模拟问题[7] - 仿真系统有效性不仅取决于引擎本身，也依赖结构化且物理属性正确的场景与资产供给，二者任何一方短板都会导致"sim-to-real"差距[7] - 行业正通过自动化和低成本方式，利用如 luck3D 等模型能力生成大量适用于仿真的资产，以减少人工介入（human-in-loop）的工作[7] （五）仿真数据与真实数据的关系 - AI 领域数据主要分为仿真数据和真实数据，真实数据又可分为本体数据和无本体数据，后者包括 Ego-centric（第一人称视角捕捉动作序列）和 UMI-centric（通过传感器捕捉手部精细动作）数据[7] - 仿真数据与 Ego-centric 或 UMI-centric 数据并非替代关系，而是在不同阶段服务于不同需求的互补模态[7] - Ego-centric 这类分布广泛的数据类型在模型预训练阶段有较好应用效果，仿真数据则在后期训练及测评环节发挥不可或缺的作用[7] - 测评阶段需在尽可能多场景中运行任务以评估策略并获得奖励得分，若在真实环境中执行成本极其高昂[7] （六）仿真技术的不可替代优势 - 物理量的可读性：包括资产本身是否被赋予物理参数，以及仿真引擎能否准确读取这些参数，若任务所需物理参数在资产侧缺失或引擎无法精确读取，仿真便无法有效进行[8] - 反事实场景的可构造性：真实世界中无法或极难复现的极端情况（corner case），如模拟地震、特定天气等扰动，可在仿真环境中创造，对训练模型鲁棒性至关重要，自动驾驶领域也广泛应用[8] - 失败案例的可采集性：当策略部署到真机后成功率较低（例如低于 60%）时，通常意味着仿真训练环节存在问题，需利用仿真环境回溯并重新进行强化学习，在真机上重复此过程成本过高[8] - 评测的可复现性：仿真为策略评估提供稳定、可重复的环境[8] - 规模化能力：仿真能大规模生成用于预训练的、具有多样化材质和视觉表征的数据[8] - 有效仿真系统需整合可执行的环境、可控的传感器以及可重复的任务，共同构成其在具身智能研发流程中的独特价值[8] （七）业务实践挑战与拓展方向 - 客户需求高度个性化，几乎没有两个客户需求完全相同，通常只有 40%至 50%是通用需求，导致大量定制化工程任务[9] - 为应对挑战并顺应行业趋势（如 GPT-4 及后续模型驱动的自动化生成），正致力于减少人工介入，利用模型自动化生成场景与资产[10] - 纵向拓展方面，整合公司内部优势模型能力，如 luck3D、AIGC 和 spatial-computing 技术，优化数据生产方式[10] - 横向拓展方面，积极进行具身智能策略的真机验证[10] - UC Berkeley 的 SuperMIMIC 通过可微的动力学模型，将具身智能在运动训练范式上的门槛（包括成本和算力）降低了两个数量级，传统基于 PPO 的训练方法耗时以周计，SuperMIMIC 可将训练时间缩短至小时甚至分钟级别[10] - 苹果公司近期发布的 HALO 系统在 SuperMIMIC 基础上进一步加入任务导向（如推箱子、钻桌子等身体大动作，不包含手部精细动作），采用纯仿真方案进行策略训练，在 6 个未知环境中进行了 360 次 zero-shot 迁移测试，成功率高达 91%[10] - 受此启发，公司也在进行相关实验，测试任务与 HALO 既有交集也存在差异，并额外关注手部精细操作级别的动作[10] - HALO 项目负责人 Vladlen Koltun 曾是 Intel Labs 首席科学家，群核科技在 2026 年与 Intel Labs 合作发布名为 SPEAR 的论文项目，该项目最初由其主导，公司与 Vladlen Koltun 及其后续分布在苹果、英伟达、Adobe Research 等机构的团队成员保持持续合作，其也是开源自动驾驶仿真平台 CARLA 系统的创建者[10] - 系统化工作流程涵盖：首先实现"real-to-sim"，即将真实场景转化为仿真就绪（sim-ready）形态；其次在"sim-to-real"环节构建"playground"，为机器人提供丰富场景和资产进行训练；最终通过仿真导出策略并测试其 zero-shot 迁移性能，期望成功率也能达到 90%以上[11] （八）核心竞争力与交付可行性 - 群核科技从早期从事渲染（ray tracing）业务开始本质上就是在进行仿真，即将物理世界转移到数字世界，光照本身也是一种物理信息[12] - 当前对物理 AI 的理解更多涉及有具体接触的物理交互，例如重力、弹性系数、阻尼等，现有工作是从原有渲染技术基因上进行的技术迭代和自然发展，逻辑进程顺畅，没有经历明显转折[12] - 客户选择的原因之一是有能力证明数据的价值，无论是通过开源项目还是客户自身验证[12] - 作为数据供应商解决了交付可行性的关键问题，包含两个层面：成本可控，若产品极其精细但成本过高则不具备商业化可行性；规模化交付，若为规模化而牺牲质量也无法满足客户诉求[12] - 公司恰好在质量与成本之间找到平衡点，实现交付能力的规模化扩展，这是能够与一些头部客户维持三至五年连续合作的重要原因之一[12] （九）开源商业化节奏与定价策略 - 开源价值体现在：彰显公司技术实力；通过开源项目（如 Inter-GS）为行业社区做贡献，代表公司在行业内的顶级水平[13] - 商业化并非做开源的首要原则（First principle），并未期望开源项目直接带来大量商业回报，但当开源项目足够优秀并被顶级 AI 实验室关注到时，商业订单会自然随之而来，出色的开源项目本身也是有效的市场营销手段[14] - 商业化定价具体情况非常依赖个案（case by case），有标准定价方式，例如按资产单价收费，类似于云服务按小时计费[14] - 对于新型数据交付，若涉及开发额外工具或算法，相关人工或其他打包服务费用也会纳入报价[14] - 当前备受关注的计算机辅助智能体（computer use agent）需要代码级别（coding-level）的轨迹数据，这类过去未曾设想过的数据需求，若公司有能力进行研发和交付，其定价将具有较大想象空间[14] （十）数据需求分层与仿真数据占比 - 从模型训练范式看，预训练阶段需要的数据量最广，经典数据金字塔理论底层是互联网数据，中间是仿真数据，顶层是真机实采数据，数据越往上采集难度越大、成本越高[14] - 预训练阶段大量使用带有噪声的数据是必须的，此阶段更关注数据分布足够泛化，而非数据精细度[14] - Ego-centric 数据因其属性在具身智能预训练阶段需求量较大，但需求旺盛也导致供应增多，其定价、数据质量、标注、售卖渠道及数据来源等尚未达到标准化程度[14][15] - 仿真数据位于数据金字塔中间层，在模型训练特别是具身智能训练的后端环节发挥作用，当模型需要在极端情况（corner case）下测评或对泛化性和精度有较高要求时就需要用到仿真数据，其价值因此体现，但制作仿真数据和资产的门槛相对较高[15] - 一些从事世界模型（World Foundation Model）研究的团队交流后得出结论，仿真数据将在后训练（post-training）阶段占据主导作用[15] - 在整个数据图谱中，仿真数据占比可能不会特别大，预计在 15%至 20%左右，但这已是相当可观的体量[15] 三、其他重要但可能被忽略的内容 - 苹果 HALO 系统引入了 300 小时的仿真数据并取得良好的真实环境迁移效果[14] - Inter-GS 数据集构建采用虚拟拍摄生成 2K 及以上高分辨率照片，再经 3D 高斯管线生成带语义标签数据，对感知研究极为有利[6] - 群核科技与 Intel Labs 于 2026 年合作发布 SPEAR 论文项目[10] - 团队服务客户历史涵盖扫地机器人、AR、视频生成等领域[5] - 云平台合作中，云平台将数据打标、清洗等工具与公司数据打包，利用云算力及延伸服务进行销售[4]