Workflow
阶跃星辰×光影焕像联合打造超强3D生成引擎Step1X-3D!还开源全链路训练代码
机器之心·2025-05-16 10:42

核心观点 - 阶跃星辰与光影焕像联合发布并开源3D大模型Step1X-3D 该模型总参数量达4 8B(几何模块1 3B 纹理模块3 5B) 具备高保真与可控性 可广泛应用于游戏 影视 工业设计等领域 [1] - Step1X-3D通过数据驱动与算法协同优化 建立了包含200万高质量训练样本的数据库 并采用增强型网格-SDF转换技术 使水密几何转换成功率提升20% [4][7] - 模型采用3D原生两阶段架构 解耦几何与纹理表征 几何生成采用混合VAE-DiT架构 纹理生成基于SD-XL模型优化 实现细节生动且多视图一致 [10][15][16] - Step1X-3D在CLIP-Score等核心指标上超越主流3D模型 成为开源社区最具竞争力的3D生成方案 [25] 技术架构 - 几何模块:采用混合VAE-DiT架构生成水密TSDF表示 通过锐利边缘采样技术精准还原几何细节 参数量1 3B [15] - 纹理模块:基于SD-XL模型深度定制 利用几何条件引导与多视图同步技术 参数量3 5B [16] - 控制技术:兼容主流2D生成模型控制方法(如LoRA微调) 支持对称性 表面细节等属性调控 [18][19] 数据与训练 - 数据处理:从超500万原始数据中筛选出200万高质量样本 并开源800K 3D资产及完整预处理策略 [4] - 训练优化:采用FLUX MMDiT结构与Rectified flow算法 实现3D表示的直接建模 [13] 应用与性能 - 应用场景:覆盖游戏娱乐 影视动画 工业制造等领域 提供从创作到落地的全链路支持 [1] - 性能表现:在CLIP-Score等自动评估中多项指标领先 生成内容与输入语义一致性达行业最高水平 [23][25] 团队背景 - 阶跃星辰:以构建AGI为目标 规划从单模态到多模态统一的技术路径 [27] - 光影焕像:专注3D AIGC与空间智能技术 团队含港科大博士及字节 美团等企业人才 [27][28]