Workflow
TRELLIS
icon
搜索文档
无需训练的3D生成加速新思路:西湖大学提出Fast3Dcache
量子位· 2025-12-04 13:57
3D AIGC行业技术瓶颈与解决方案 - 在AIGC浪潮中,3D生成模型(如TRELLIS)进化迅速,但“慢”与“计算量大”是制约其大规模应用的最大痛点,生成高质量3D资产往往需要漫长等待 [1] - 为加速3D生成,业界曾尝试引入2D视频生成中的“缓存”技术,但在3D领域直接应用会失败,因为3D结构对误差极为敏感,微小误差可导致模型破洞、面片错位甚至结构崩塌 [1] Fast3Dcache技术核心与原理 - 西湖大学AGI实验室提出的Fast3Dcache是一种无需训练、即插即用的几何感知加速框架,能在大幅提升速度的同时,完美保持甚至提升模型的几何质量 [2] - 其核心洞察源于对3D几何生成过程的解剖,发现体素在扩散模型去噪过程中呈现“三阶段稳定模式”:剧烈震荡期、对数线性衰减期和精细调整期 [4] - 基于此观察,Fast3Dcache设计了两大核心模块:PCSC模块通过早期校准预测“衰减曲线”,动态分配每一步的计算预算;SSC模块通过分析潜空间中特征的速度和加速度,智能决定复用或重新计算哪些特征 [6][7][9] - 这种基于时空动力学的筛选机制,比传统仅看数值相似度的方法更可靠,彻底解决了3D结构断裂的问题 [8] Fast3Dcache性能表现与数据 - 在TRELLIS和DSO框架上的测试显示,Fast3Dcache在保证几何质量的前提下,显著提升了推理吞吐量并减少了计算量 [10] - 具体数据:在TRELLIS框架下,当参数τ=8时,模型提速27.12%,计算量(FLOPs)降低54.83% [10][11] - 该技术具有正交性,可与现有视频/图像加速算法无缝叠加,实现更显著的加速效果:Fast3Dcache + TeaCache推理速度达原来的3.41倍;Fast3Dcache + EasyCache推理速度提升至原来的10.33倍 [11][13] 技术影响与行业意义 - Fast3Dcache的提出打破了“3D加速必损画质”的传统认知,它无需重新训练模型和繁琐调参,以一种优雅的方式释放了3D扩散模型的推理潜能 [19] - 对于急需降低算力成本、提高生成效率的3D内容创作者和开发者而言,该技术是在3D几何生成减少计算冗余方面的一个重要开拓者,为后续工作提供了更多可能性 [19]
标准化3D生成质量榜单来了!首创层次化评价体系,告别“谁的demo更吸睛”主观评估
量子位· 2025-08-16 11:58
文章核心观点 - AI 3D生成技术在2025年相比2024年质量显著进化 成为继AI视频后最被看好的AIGC应用领域 [1] - 上海人工智能实验室联合多所高校发布Hi3DEval评测体系 通过三层评测协议实现从整体到细节的多粒度分析 解决传统3D生成评测粗糙的问题 [3][5] - 首期榜单涵盖30个主流模型 腾讯混元Hunyuan3D 2.5以16.561分位居Image-to-3D任务榜首 微软TRELLIS(15.1989分)和Stability AI SPAR3D(15.0014分)分列二三位 [6][7] 评测体系创新 - 对象级评估涵盖几何合理性(结构完整性/保真性) 几何精细度(边缘锐利度/部件完整性) 纹理质量(清晰度/细节保真度) 几何-纹理一致性(纹理与几何对齐) Prompt-3D一致性(生成结果与输入匹配度)五个维度 [9][10][11][12][13][14] - 部件级评测聚焦椅子腿/扶手等细分部位 诊断局部几何问题 评估维度包括局部几何合理性(符合物理与设计逻辑)和局部几何精细度(细节清晰度与丰富度) [15][16] - 材质主题评估采用光照反射信息 从细节与复杂性(视觉丰富度) 色彩与饱和度(颜色自然度) 一致性与伪影(跨视角一致性) 材质合理性(反射率/粗糙度等物理特性)四个维度分析 [17] 技术实现突破 - 采用多视角环绕视频+原生网格的混合3D表征 视频表征检测跨视角结构稳定性与纹理漂移 原生3D表征支持部件级几何评估 [26] - 在人类偏好一致性上超越主流指标:Text-to-3D任务中DC指标达0.767(CLIP Score仅0.647) CA指标达0.733(CLIP Score仅0.543) Image-to-3D任务中C2指标达0.771(CLIP Score仅0.678) [27] 行业影响 - 标准化评测设置统一输入提示/渲染视角/光照条件 消除实验环境偏差 保障评分公正性 [21] - 提供可追踪/可复现的对标基准 推动3D生成技术向高质量与高透明度发展 改变过去依赖主观demo评价的行业现状 [7][28]