技术突破与创新 - 推出首个在3D高斯点（3DGS）上原生运行的端到端大规模3D室内场景理解方法SceneSplat，突破现有方法依赖2D或文本模态的局限 [2] - 提出自监督学习方案，从未标记场景中解锁3D特征学习，支持视觉-语言预训练和自监督预训练两种模式 [2][12][14] - 开发高效语义标注系统，结合SAMv2分割、SigLIP2特征提取和Occam's LGS多视角特征融合技术，实现稳定的3D高斯-语言特征对生成 [8][10] 数据集构建 - 构建并发布首个针对室内场景的大规模3DGS数据集SceneSplat-7K，包含7916个场景，源自7个权威数据集（ScanNet、Matterport3D等） [2][6] - 数据集总计包含112.7亿个高斯点，单场景平均约142万个点，对应472万张RGB训练帧 [6][7] - 重建质量达到PSNR 29.64 dB、平均Depth-L1 0.035米，存储需求2.76TB，计算资源消耗等效NVIDIA L4 GPU运行3592小时（约150天） [6][7] 性能表现 - 在ScanNet200、Matterport3D和ScanNet++的零样本语义分割任务中达到SOTA效果，最高f-mIoU达28.4%（ScanNet++） [21][22] - 无监督预训练后在ScanNet20、ScanNet200和ScanNet++的语义分割任务中均达到SOTA，mIoU最高77.2%（ScanNet20） [23] - 支持开放词汇识别和物体属性查询，能有效处理训练数据中未出现的类别（如Robot Arm） [27][29] 应用与扩展 - 数据集已扩展至SceneSplat-49K，并在多数据集上完成系统化3DGS与语义结合的基准测试 [31] - 技术成果由国际顶尖研究团队（含INSAIT、苏黎世联邦理工等机构成员）联合开发，获CVPR、ICCV等顶级会议论文收录 [32][33][34] - 相关研究获得Google、华为等企业产学协同支持，并参与欧盟"AI工厂"计划（总额9000万欧元） [34][36]

尤其适用于机器人导航、自动驾驶等需要实时语义解析的空间智能场景。 本文为IPO早知道原创 作者｜ Stone Jin 微信公众号｜ipozaozhidao 据 IPO早知道消息， 特斯联首席科学家、特斯联国际总裁邵岭博士及其合作团队 日前 发布最新研 究成果，提出了一种名为 Laser的高效语言引导分割框架，为3D场景理解提供了轻量化、高精度的 开放词汇分割方案，推动了语言模型与神经辐射场融合的实用化进程。 该框架尤其适用于机器人导 航、自动驾驶等需要实时语义解析的空间智能场景，现已被人工智能领域权威学术期刊 IEEE T- PAMI （CCF-A，IF 23.6）收录 。 在 城市规划与建筑建模 领域 ： 在城市数字化建模中，需对建筑物、植被、公共设施进行语义标注，辅助规划决策。该研究成果支持 对罕见物体（如古建筑装饰、特殊标牌）的开放词汇分割，丰富数据标注的覆盖范围；此外，基于 Laser, 无需人工标注3D数据，通过多视图图像即可生成带语义的3D模型。 本文由公众号IPO早知道（ID：ipozaozhidao）原创撰写，如需转载请联系C叔↓↓↓ 这一研究成果在多个现实场景中具备重要的应用价值，特别是在需 ...

核心技术突破 - 提出全新的多模态Few-shot 3D分割设定，首次融合文本、2D和3D信息，无需额外标注成本 [1][2][14] - 开发创新模型MM-FSS，通过跨模态特征融合显著提升模型在极少标注样本下对新类别的学习与泛化能力 [15][16][37] - 该方法在ICLR 2025被接收为Spotlight论文，显示其学术认可度 [6] 技术实现细节 - 模型引入Intermodal Feature Head和Unimodal Feature Head两个特征提取分支，分别学习与2D视觉特征对齐的3D点云特征和3D点云本身特征 [22][23] - 设计Multimodal Correlation Fusion和Multimodal Semantic Fusion模块，有效聚合视觉线索和语义信息，增强对新类概念的全面理解 [25][26][27][37] - 在测试阶段引入Test-time Adaptive Cross-modal Calibration，利用跨模态语义引导自适应修正预测结果，缓解训练偏差，实现更好泛化 [28][29][32] 性能表现 - 在两个标准FS-PCS数据集上的实验表明，MM-FSS在各类few-shot任务中均实现最佳性能 [34][35] - 在1-way 1-shot任务中平均性能达到52.09，相比基线最佳结果47.77提升4.3个百分点 [35] - 在2-way 5-shot任务中平均性能达到50.16，相比基线最佳结果41.49提升8.7个百分点，显示其强大泛化能力 [35] 行业应用与价值 - 精准的3D场景理解技术对人形机器人、VR/AR及自动驾驶汽车等领域至关重要 [3][7] - 传统全监督模型受限于预定义类别，识别新类别需重新标注大量数据并训练模型，过程耗时昂贵 [8][9] - 该技术极大降低了新类适应的开销，使3D场景理解模型不再局限于训练集中的有限类别，对广泛应用场景有重要价值 [9][16]