克雷西 发自 凹非寺 量子位 | 公众号 QbitAI Meta的"分割一切"，这回给 3D建模 带来了新的范式—— 现在，图像分割得到的切片，可以直接转换成3D模型了。 只要一张图，就能对里面的每个物体进行单独重建，有遮挡也不用怕。 这就是Meta MSL实验室刚刚发布的三维重建模型SAM 3D。 与此同时，MSL实验室之前投稿ICLR 2026的分割模型SAM 3，也终于露出了真容。 之前SAM 3就在一般图像分割的基础上增强了语义理解，论文一公布就备受关注。 现在又上新SAM 3D，许久不见出成果的Meta AI，总算是打出了一组王炸。 分割结果生成3D模型 SAM 3D家族包含两个新模型——SAM 3D Objects，用于物体和场景重建；以及SAM 3D Body，专注于人体，这两个模型均能够将静态2D 图像转换为精细的3D重建模型。 SAM 3D Objects能够从单张自然图像中实现基于视觉的3D重建和物体姿态估计。 即使存在小物体、间接视角和遮挡现象等障碍，依然可以进行重建，弥补了仅凭像素不足以完成重建的不足。 SAM 3D Objects的性能显著优于现有方法，能够很好地泛化到多种类型的图像 ...

行业背景与政策导向 - 文物保护面临长期挑战，文物数字化成为明确的发展方向 [1] - 2021年九部委在《关于推进博物馆改革发展的指导意见》中明确提出加快藏品数字化和完善藏品数据库 [1] - 各地正积极推动文物保护与利用的智慧化、数字化转型，以数字化展示带动博物馆提质升级 [1] 文博数字化面临的挑战 - 行业长期存在难以逾越的障碍，包括藏品体量庞大、文物脆弱、采集窗口受限 [5] - 传统三维建模依赖手工、周期长、成本高，且需满足严苛的安全与合规要求 [5] - 文旅热潮下出现新矛盾，如线下限流与线上引流的运营错配，以及算力与存储的刚性投入 [5] - 具体表现为三大痛点：物理可达性受限、大规模数字化瓶颈突出、运营压力长期存在 [5] 公司的技术方案与产品 - 公司以三维重建与导航能力切入文博数字化，并计划推出"线上博物馆"工具包以降低制作与上线门槛 [3] - 基于"云境"三维重建技术融合海量时空数据，打造时空数字底座，旨在提升效率、压低成本 [6] - 公司推动文物从静态收藏向数字资产的动态管理转变，通过AI和三维重建技术实现文物活化 [8] - 云境平台升级后首次支持4DGS技术，完成从静态重建到动态三维重建的跨越，并适配国产GPU实现渲染引擎国产化 [9] - 公司专注于真实世界的还原与基础设施供给，以"一张文博地图"为目标，不延伸至内容经营 [13] 公司的标杆项目与合作生态 - 2024年8月，公司与故宫宣布共建"故宫×高德AI三维重建创新实验室"，聚焦复杂环境下的数据采集难题 [8] - 该实验室以故宫雨花阁、内务府造办处考古遗址等为主体，旨在规范数字文物模型生产工艺标准 [8] - 公司已形成文旅文博的产学研生态，与北航、北邮、央美等院校及头部博物馆开展合作 [12] - 公司与故宫合作的科技部重大专项《大型综合性博物馆数字孪生关键技术研究与服务示范》正在推进，旨在提供可复制的创新范例 [11] 公司的竞争优势与市场定位 - 公司定义其赛道为"打破无限"，旨在用AI、数字孪生与生态合作打破时间、空间与维度的限制 [3] - 中国在大模型应用上迭代速度快，叠加超大规模用户体量带来的数据与场景优势，形成高频的真实世界反馈回路 [10] - 公司具备独特优势：大众UGC基础雄厚、公众表达意愿强，以及权威机构提供的严肃内容供给充足 [10] - 公司形成"线上展陈—线下导流—客流预测与疏导"的运营闭环，走出一条国产化、低成本、可复制的落地路径 [13] 应用案例与社会价值 - 以湖南博物院线上展厅为例，平台集成官方权威内容并开放社会创作入口，引入专业化表达提升公众参与度 [11] - 在安徽宣城郎溪县，文物工作人员使用公司地图对文物点精准定位与标注，整合分散的工作链路，提升普查效率与日常运维便利性 [13][14] - 公司结合大数据与AI技术推动智慧服务，设想通过数字孪生、三维激光扫描、AR/VR等技术打造沉浸式数字展厅，实现文化传播破圈 [9]

三维感知技术趋势 - 全球首款千元级空间记忆模组MindPalace Odin1亮相，可实时生成三维点云模型，融合多模态传感器与自研MindSLAM算法 [2] - 第三代多维触觉传感器PX-6AX-GEN3实现每秒百万次采样频率，输出15维力觉数据 [2] - 3D激光雷达Pulsar ME450与双目相机Gemini 345Lg具备超宽温域和抗干扰性能 [2] - 三维重建技术正从实验室走向千行百业，成为机器人感知世界的新基建 [2] 激光扫描技术突破 - D-H100手持激光扫描仪实现120米超远距厘米级精度扫描，搭载LiDAR SLAM与双频GNSS天线 [4] - 设备重量仅1.83kg，效率提升300%，可在复杂环境中实时输出高精度点云 [4] - 激光扫描技术正与机器人深度绑定，可应用于灾区数字孪生、化工厂巡检、咖啡机器人路径优化等场景 [4][5] GeoScan S1产品亮点 - 国内最强性价比实景三维激光扫描仪，首发价19800元起 [7][14] - 每秒20万级点云成图，70米测量距离，360°全域覆盖，支持20万平米以上大场景 [7] - 轻量化设计仅1.9kg（含电池），续航3-4小时，配备5.5寸触控屏 [25] - 多传感器融合包括RTK、3D激光雷达、9DOF IMU、双广角相机等 [18] 技术参数 - 相对精度优于3cm，绝对精度优于5cm [25] - 采用Intel N5095处理器，4核2.0GHz，16G内存/256G存储 [25] - 支持pcd、las、ply等多种数据格式导出 [25] - 微秒级同步技术实现多传感器数据融合 [33][34] 应用场景 - 适用于写字楼、停车场、工业园区、隧道、森林、矿场等复杂环境 [39][48] - 支持跨平台集成，适配无人机、无人车、机械狗、人形机器人等多种负载平台 [45] - 3D高斯模块可选配，实现高保真实景还原 [52] 产品版本 - 基础版19800元，深度相机版23800元 [60] - 3DGS在线版39800元（含云服务），离线版67800元 [60] - 提供1年售后服务 [65]

自动驾驶之心项目与论文辅导 - 项目正式推出自动驾驶领域论文辅导服务 旨在解决学生在研究过程中遇到的环境配置 创新点实现 模型调试等疑难问题 [1] - 过往辅导成果显著 部分学员成功在CVPR ICRA等顶级会议发表论文 [1] - 2024年计划扩大辅导规模 目标助力更多学员冲击顶会 [1] 主要辅导方向 方向1：多模态与计算机视觉 - 覆盖端到端自动驾驶 BEV感知 大模型等前沿技术领域 [2][3] - 辅导老师为华为天才少年计划入选者 在CVPR/ICCV/ECCV/NIPS等顶会发表论文30+篇 总引用量超6000次 [3] - 学术指导经验丰富 曾指导博士生在CCF-A类顶会顶刊以一作/共一身份发表7篇论文 [3] 方向2：3D视觉技术 - 聚焦图像/点云数据的3D目标检测 语义分割 占据预测等多任务研究 [4][5] - 辅导老师来自国内TOP2高校 在ECCV CVPR等会议有多次论文发表记录 [5] 方向3：自动驾驶感知架构 - 研究领域包含OCC 世界模型 BEV等自动驾驶核心感知方案 [6] - 辅导团队参与多个主流感知方案开发 成员均来自国内TOP2高校 在CVPR ECCV等会议有论文发表 [6] 方向4：神经渲染与重建 - 涉及NeRF 3D Gaussian Splatting等三维重建技术 [7] - 辅导老师以第一作者发表4篇CCF-A类论文（含2篇CVPR和2篇IEEE Trans） [7] - 另有导师在CVPR ICCV ICML TPAMI等期刊会议发表多篇论文 学术背景覆盖国内外顶尖高校（QS200/国内TOP100） [7] 合作方式 - 提供个性化论文辅导服务 具体细节需通过指定微信号（wenyirumo）咨询 [7] - 咨询时需备注"论文辅导"以获取定向服务 [8]

技术方案 - 提出统一的激光雷达-视觉系统，结合三维高斯喷溅（3DGS）与神经有符号距离场（NSDF），实现几何一致的真实感渲染与高精度表面重建 [5][6] - 通过NSDF提供的流形几何场进行高斯原语初始化，提升训练收敛性并减少悬浮伪影 [22][23] - 设计双向监督的形状正则化方法，在NSDF与高斯喷溅之间建立几何约束，优化渲染与重建效果 [6][28][33] 核心创新点 - 基于物理的高斯初始化策略，利用NSDF提取表面网格顶点作为初始位置，并通过SDF值定义不透明度 [23][24] - 针对背景渲染的"天空初始化"方案，在大球面上均匀布置高斯以避免前景伪影 [25] - 结合渲染法线一致性损失与SDF表面采样点约束的双重几何正则化框架 [30][33] 性能表现 - 在Replica数据集上平均表面重建精度达0.506cm（C-L1指标），优于M2Mapping的0.499cm [46] - 外推渲染SSIM达0.955，显著高于3DGS（0.914）和InstantNGP（0.944） [46] - FAST-LIVO2数据集测试中，平均PSNR达26.988，较基准方法提升1.5dB以上 [49] 应用场景 - 适用于机器人导航、数字孪生等需要实时高质量三维重建的领域 [1] - 支持低成本激光雷达与相机组合的硬件方案，降低部署门槛 [5][48] - 在稀疏观测条件下仍能保持几何一致性，适应复杂环境 [3][6] 实现细节 - 采用哈希编码+MLP构建可扩展的NSDF网络，通过Eikonal正则化保证梯度稳定性 [16][20] - 渲染阶段使用alpha混合的光栅化方法，结合L1+DSSIM损失优化颜色输出 [13][14] - 高斯属性参数化包含位置、切向量、缩放因子、不透明度及球谐函数编码颜色 [10][11]

自动驾驶技术研究 - DriveArena: 可控生成式自动驾驶仿真平台 支持自定义场景生成和闭环测试 [4] - Epona: 基于自回归扩散世界模型的自动驾驶系统 可预测复杂交通场景演变 [4] - SynthDrive: 高保真传感器仿真流水线 实现真实-仿真-真实数据闭环 [4] - StableDepth: 场景一致的单目深度估计模型 支持尺度不变性深度预测 [4] - U-ViLAR: 基于可微分关联的视觉定位系统 集成不确定性感知模块 [4] 3D重建与场景生成 - DiST-4D: 解耦时空扩散模型 结合度量深度生成4D驾驶场景 [4] - GaussianProperty: 通过LMMs整合物理属性的3D高斯模型 支持材质属性编辑 [4] - GS-Occ3D: 基于高斯泼墨的纯视觉占用重建框架 实现自动驾驶场景三维重构 [5] - Curve-Aware Gaussian Splatting: 参数化曲线重建技术 提升3D几何结构精度 [6] 多模态感知与决策 - CoopTrack: 端到端协同序列感知框架 优化多智能体协作效率 [4] - ETA: 基于大模型的双轨自动驾驶系统 通过前瞻性思维提升决策效率 [5] - CARP: 粗到细的视觉运动策略学习 实现分层动作预测 [5] - Detect Anything 3D: 开放词汇3D检测系统 支持野外场景任意物体识别 [5] 生成式模型应用 - TaxaDiffusion: 渐进式训练扩散模型 实现细粒度生物物种生成 [8] - Hi3DGen: 图像到3D几何生成框架 通过法向桥接保持高保真度 [5] - Aether: 几何感知的统一世界建模 集成物理规律与语义理解 [4] 机器人操作与导航 - A0: 分层 affordance 感知模型 支持通用机器人操作任务 [4] - MoMa-Kitchen: 超10万样本的移动操作基准 针对最后米导航场景 [4] - OVA-Fields: 弱监督开放词汇 affordance 场 用于机器人部件检测 [5] 视觉基础模型 - ReME: 无训练开放词汇分割框架 基于数据中心的约束解除技术 [5] - StruMamba3D: 自监督点云表征学习 探索结构Mamba架构优势 [5] - G2D: 梯度引导的多模态蒸馏 提升跨模态学习效果 [9]

城市创新资源 - 石河子市拥有国家级经济技术开发区、国家高新技术产业开发区、国家农业科技园区三大发展引擎 [1] - 汇聚18所科研机构包括新疆农垦科学院、石河子农业科学研究院 [1] - 拥有12个国家级"双创"平台、31个省级以上重点实验室和技术创新中心 [1] - 成立石河子科技成果转移转化中心和北疆兵团区域科技创新联盟 [1] 科技创新成果 - 高新技术企业113家、科技型中小企业174家 [2] - 获国家科学技术进步奖二等奖6项、省级科学技术进步奖100余项 [2] - 天山铝业电解铝年产量突破百万吨 [2] - 众金电极箔创新成果推广至数十家企业创造综合效益数十亿元 [2] 绿色能源与农业科技 - 中新建电力集团光伏项目年提供绿色电力1.5亿千瓦时减少碳排放7.8万吨 [2] - 天业集团智能打顶机器人融合三维重建和AI技术 [3] - 自主研发"暗管排水控盐"技术解决盐碱地种植难题 [3] - 节水灌溉技术和大数据平台提升农业生产效率 [3] 政策支持与产业集群 - 出台"科技创新十条"对科技成果转化项目最高奖励500万元 [3] - 设立10亿元产业基金支持龙头企业发展 [3] - 经开区修订政策加大人才引育力度设立"人才发展专项资金" [3] - 以六大产业集群为基石推动高质量发展 [3]