禾赛科技Kosmo与皮克斯合作 - 皮克斯官方上架最新3D渲染教程，教创作者使用皮克斯官方工具处理真实世界的3D高斯泼溅数据，说明中特意感谢禾赛科技提供的3D场景扫描方案Kosmo [6] - 皮克斯是《玩具总动员》背后的好莱坞特效公司，过去30届奥斯卡最佳视效大奖中24部影片都在使用皮克斯的特效技术 [3] - 皮克斯由史蒂夫·乔布斯在1985年被苹果公司扫地出门后的创业项目 [4] - RenderMan是皮克斯的核心渲染技术，算法历史比皮克斯这家公司还要早，乔布斯当年看到计算机图形学作为艺术形式的潜力并投下重注 [8] - GPU加速的XPU架构已经落地，对3D高斯泼溅这一全新三维数据格式的支持已加入RenderMan，帮助RenderMan捕捉真实世界的就是禾赛的Kosmo [9] Kosmo的技术能力与价值 - 皮克斯描述Kosmo的价值：影视特效需要在像素层面完成编辑工作，数据和信息越丰富，能做的调整就越细腻，Kosmo可以让建模师走进任何一个地方，捕捉每一个空间元素、精准几何结构和真实光照 [11] - 用Kosmo捕捉皮克斯总部Steve Jobs大楼前的台灯和小球空间只需10-20分钟，得到的高质量3DGS数据通过USD格式直接进入工作环境 [12] - 一般100平米左右的空间，手持Kosmo采集大概需要15-20min的时间 [13] - Kosmo第一个价值是快速提取真实景物环境信息，且100%真实还原 [15] - 现象级国产3A大作《黑神话·悟空》制作方游戏科学当年就是拿着禾赛的激光雷达去采集各种古建筑模型，这也是Kosmo诞生的驱动因素之一 [15] - Kosmo更被认可的是直接输出3D高斯泼溅格式的能力，采集完的数据不需要再经过任何复杂处理，可以直接用各种AI的、人工的工具编辑调试 [15] - Kosmo的本质是真实的三维世界数据引擎，多种不同传感器高度集成、标定完善，到手即用，直接输出可供模型训练、可以操控编辑、空间关系/色彩形状都不失真的三维数字模型 [15] Kosmo在具身智能与物理AI领域的定位 - 打进好莱坞影视行业本质上只是禾赛攀登物理AI珠峰过程中沿途下的一个蛋 [16] - Kosmo更初心的落地场景是作为具身智能、物理AI底层模型最重要的数据渠道入口 [17] - Kosmo建模完成的数据资产可以直接拿来构建机器人的训练任务，这实际上就是世界模型追求的目标，不同之处在于Kosmo数据来自真实世界，物理定律、因果更加精准，并且对于模型的行为更容易解释归因 [26] - Kosmo本身还提供空间关系这个更关键的要素，机器人从感知到认知，主动规划路线、策略，空间关系是必不可少的决策因素和模型训练数据 [27][29] - 这样前装量产、前融合的数据入口，整个具身智能、物理AI赛道之前是不存在的 [30] - 具身玩家包括其他有测绘采集需求的团队都有强需求，并且需要的远远不止激光雷达数据 [31] - 长期以来大家的玩法是各自采购不同传感器元件，自己手搓一套数据采集设备，非标、可靠性低、昂贵、没法迭代 [32] - 禾赛作为激光雷达一哥，精密光电设备、车规标准、工程量产是其舒适区 [33] - Kosmo是行业第一个即开即扫、即扫即用的专用数据终端 [33] Kosmo的产品架构与技术细节 - Kosmo的组成分两端，用户手里的Kosmo One是采集端，云端的Kosmo World是重建端 [34] - Kosmo One内部有四类传感器：定制激光雷达、最高8K分辨率的超高清影像系统、一英寸大底CMOS、高精度IMU [35] - 四类传感器输出的信号天生就不一样：点云是一堆稀疏的三维坐标，图像是二维像素阵列，IMU是高频时序数据 [36] - 前融合的意思是在这些信号进入任何重建算法之前，先在硬件层面把它们对齐 [37] - 时间上Kosmo做到微秒级同步采集，四类传感器共享同一个时钟源和触发机制，每一帧数据在时间戳上严格绑定 [39] - 空间上激光雷达和摄像头之间的外参标定决定点云中每个三维点能否准确投影到对应图像的像素上，Kosmo One把三者集成在同一台设备，外参出厂时标定好，使用过程中由IMU辅助维持 [40] - 前融合的输出是一组时空对齐的多模态数据帧，每一帧里激光雷达点云、图像RGB像素、IMU位姿轨迹绑在同一个时间戳下 [41][42] - 设备级前融合和禾赛在毕加索SPAD-SoC上做的像素级前融合同源，SPAD像素上方集成RGB滤光片，单像素同时完成光子计数和ToF计时，直接输出时空对齐的彩色点云 [44] - Kosmo One就是把类似思路从芯片扩展到了多传感器系统 [45] - 多模态帧上传到云端进入Kosmo Spatial Core即KSC，转化成3D高斯泼溅表示 [46] - 3DGS是2023年SIGGRAPH上提出的一种三维场景表示方法，用一堆三维高斯分布来搭场景，每个高斯有自己的位置、形状、透明度和随视角变化的颜色 [46] - 原始3DGS有个短板：只靠图像，单目图像没法确定场景的真实尺度，白墙、玻璃这类没什么纹理的地方容易算歪，高斯的空间分布也缺乏物理约束 [46] - 学术界过去两年集中解决这个问题，方向就是把激光雷达的绝对深度塞进3DGS的初始化和优化里 [47] - KSC用激光雷达点云初始化高斯位置，用深度作为几何约束参与优化，RGB信息通过可微光栅化的光度损失注入高斯的颜色参数 [49] - 三路信号在同一个优化框架里协同，最终输出位置、形状、颜色同时收敛的3DGS表示 [50] - KSC还在此基础上同步导出mesh和depth两种同源数据，空间坐标系统一，不需要跨格式配准 [52] - 最终一次重建同步输出3DGS、mesh、depth三种可直接用于机器人训练的数据形态 [53] - KSC还搭载AIGC补全能力，对未扫描到的盲区做自动补全和材质识别，并通过AI语义分割把场景内物体独立识别和标注，使静态三维模型可以直接转化为AI可训练的结构化数据 [53] Kosmo的应用广度与行业意义 - 影视、游戏、测绘、机器人甚至房地产也需要Kosmo的能力，比如VR看房 [55] - 如果数据是石油，那Kosmo其实就是采油+炼油基础设施全流程整合，让各位车主加油即走开箱即用 [56] - 从自动驾驶到具身智能，数据仿真和实采的对垒争论一直没停过，今年世界模型概念流行起来以后，这门显学感觉要被终结了 [58] - 至少现阶段的世界模型没办法回答：AI越强代表世界模型/机器人能推理、能解决的问题越多，也就是物理AI终端解锁的场景越多，但同时也意味着对泛化的要求越高 [61] - 那就更需要真实世界的新鲜数据作为基础，Kosmo这类空间数据采集产品可能会长期存在 [62] - Kosmo不是在AI变强后被替代，而是AI越强它越有用，是顺AI [63] - Kosmo本身就是世界模型的kick start [64] - 禾赛通过Kosmo挑明了一个更底层但传统大模型玩家一直回避忽视的问题：模型尤其是在训练阶段数据来源如果能对齐真实物理世界，很多问题可以迎刃而解 [64] 禾赛科技的战略重估 - 禾赛这个从车圈走出来的激光雷达供应商应该被充分重估 [66] - 智能汽车赛道锻炼出的精密设备制造、芯片设计、工程量产等能力成了物理AI时代的能力基础，除了Kosmo还有自研的机器人驱动模组，小、大力、可靠 [66] - 禾赛的角色从单纯服务车企的激光雷达供应商变成了物理AI基础设施供应商，Kosmo的主要营收可能不是硬件售卖，而是卖Kosmo大脑生产数据资产消耗的token [68] - 禾赛创始团队现在不仅仅只有禾赛这一家基础设施公司，还有机器人全栈公司Sharpa [69] - Sharpa从真实落地场景中发现问题反馈需求，禾赛不断迭代升级拿出更好方案提供给整个具身智能赛道，也从Sharpa直接营收，自己的小闭环推动行业的大闭环 [71] - 禾赛早已经突破单纯的硬件公司范围，Kosmo本身就是硬件和模型的综合方案，模型背后有一个较少被关注的东西：数据资产平台，用户扫描的数据、禾赛官方自己的测试数据等都可以在这上面开源 [72] - CEO李一帆不经意暴露野心：禾赛特意把Kosmo做得有苹果感，顶尖的硬件研发设计制造去支撑覆盖全行业的平台生态 [74] - 物理AI越往前走，对真实世界新鲜数据的需求只会更大 [75] - 禾赛从车圈杀出已经站到了物理AI数据入口的位置 [76] - 接下来要证明的是这条从传感器到数据资产的路径能跑出多宽、多深的商业版图 [77] - 顶尖智能汽车玩家的终局不会停在智能汽车 [78]