Workflow
3D资产采集、应用行业发展分享
数据创新中心·2024-07-11 21:21

纪要涉及的公司 铁鱼数科、天津数科资本公司、银牛微电子 纪要提到的核心观点和论据 1. 3D大模型是下一代大模型科研方向 - 论据:当前大模型多停留在文本阶段,在模拟复杂场景如工业元宇宙、智能化手术等方面存在不足,而3D大模型在理解维度上能提供更强的重构、计算和决策能力,散化和涌现特性也更强 [2][3] 2. 团队在数据采集训练挖掘上有优势,欲打造大型3D数据平台 - 论据:3D数据集与2D数据集存在数量级差距,高精度3D模型数量稀缺,团队具备数据采集、训练及挖掘能力,可打造端到端的3D数据平台,涵盖模型采集、清洗、标注、仿真等环节,并提供开放性API接口 [4][5] 3. 3D大模型应具备感知、认知和决策能力 - 论据:感知能力可让大模型识别场景中的人物表情、肢体动作、行为和情绪,使物理世界更智能;认知能力能让大模型自我迭代升级;决策能力可让大模型像人一样做决策,替代部分人工操作 [14][15] 4. 公司产品性价比高 - 论据:3D虚拟人互动产品渠道价为几万块,包含硬件、软件和虚拟人姿态部分,而同行普遍价格为十几万到二十几万;在3D大模型训练方面,因数据丰富、延迟低且模型可私有化,性价比也较高 [27][28] 5. 合成数据在3D领域有广阔市场空间 - 论据:合成数据可减少繁杂工作,产生涌现能力,成本低且数量级惊人。如为客户提供数字人解决方案时,用合成数据可满足客户对虚拟人动作多样化的需求,且合成动作数据成本远低于开发原始数据 [39][40] 6. 公司原想平台具有核心优势 - 论据:原想平台可快速、低成本创建模型,具备实时生成能力;是3D AI智能体平台,涵盖数据拟合、生态、存储、管理和使用,采用高效AI训练方法,从模型生产到数据合成再到智能剂都可在平台完成,能根据用户照片生成高相似度3D虚拟人并实时互动 [41][42][44] 其他重要但是可能被忽略的内容 1. 数据采集方式多样 - 模型采集:与头部实验室合作获取扫描素材数据,有动态广场扫描设备、便携式扫描设备(如手机、iPad),通过REF技术将不同面数模型统一为标准面数进行训练 [8][9][25] - 动作采集:有惯性、光怪混合、视觉捕捉、光学、AI驱动五种解决方案,可实现数据合成,使动作数据库呈指数级增长 [10][11][12] - 表情采集:前期用视觉捕捉硬件设备采集偏娱乐性表情数据,后期用动态表情算法模型进行加工,在3D超现实动态表情算法方面处于行业领先 [12][13] 2. 版权和算力问题的解决方案 - 版权:使用合成数据规避版权问题,原始数据不对外,仅用于内部,合成数据在3D世界中变异能力强,可通过一个模型变异出多种模型 [30][31] - 算力:集团公司在算力方面有优势,可调度超算中心算力;3D训练主要耗内存和硬盘,对GPU显卡训练能力要求并非数量级增长,现有资源足够训练锤类专业模型 [32][33][34] 3. 产品毛利率和硬件成本情况 - 毛利率:标准化产品毛利率可观,基本在40%-50%以上,最高可达60%以上,前期研发投入高,后期毛利率高 [35] - 硬件成本:与第三方合作厂商合作,硬件投入不重,标准化产品硬件价格在几万块左右,主要包括电脑和屏幕 [36] 4. 工业级3D模型解决方案现状 - 全球英伟达有相关平台构建,但工业级扫描变化多、体量大,完全自动化扫描、重建、建模和AI推理非常难,现阶段实现工业化不太现实 [37][38] 5. 与其他厂商的合作布局 - 已跟进MR、AR、VR等设备,将原想平台能力加入其中,可实现云推流,与虚拟世界互动;原想平台后台数据已与淘宝调通,待产品升级后可一键接入 [45][47] 6. 模型产品底层接入的大模型 - 3D大模型自己训练,2D大模型原想平台接入了GPT、文心一言、Kimi、智普华章、通义千问等,还有自己训练的文本类型垂类模型 [48]