技术突破与核心优势 - 提出InfinityStar方法，通过时空金字塔建模统一处理图像和视频生成任务，核心是将视频分解为首帧（外观信息）和后续片段（动态信息）进行解耦建模[13][14][15][16] - 采用纯自回归生成方式，相比DiT（Diffusion Transformer）所需的20-100步去噪迭代，实现"一条过"生成，计算效率提升一个数量级[4][25][31] - 在单张GPU上生成5秒720p视频仅需不到1分钟，比同尺寸DiT方法（如HunyuanVideo、Wan-Video）快一个数量级[31] 模型架构创新 - 引入时空金字塔建模架构，将图像金字塔的下一尺度预测思想扩展到时空维度，使用单一Transformer统一建模所有尺度间和片段间依赖关系[13][16] - 采用基于多尺度残差量化的视觉分词器，并应用知识继承技术加速训练，通过继承预训练连续分词器权重使离散分词器更快收敛[18][19] - 提出随机量化器深度正则化技术，随机丢弃精细尺度Token，迫使模型在粗糙尺度下也能重建有效信息，改善信息分布均衡性[21] 性能优化技术 - 设计语义尺度重复技术，在预测时对控制全局信息的语义尺度重复预测N次，增强视频结构一致性和运动流畅性[24] - 应用时空稀疏注意力机制，只关注必要上下文信息（如前一片段最后一个尺度），大幅降低长序列注意力计算复杂度[24] - 引入时空RoPE位置编码，同时编码尺度、时间、高度和宽度信息，为Transformer提供精确时空坐标感知[24] 多任务能力 - 支持文生图、文生视频、图生视频、交互式长视频生成等多种任务，所有任务均统一为"预测下一个尺度/片段"的自回归问题[9][12][16] - 具备交互式长视频生成能力，可根据5秒参考视频和新提示词持续生成后续内容[12] 性能表现 - 在VBench基准测试中，InfinityStar-8B在文生视频任务上取得83.74综合得分，超越CogVideoX-5B（81.61）和HunyuanVideo-13B（83.24）等扩散模型[27][28] - 人类偏好评估显示InfinityStar-8B在指令遵循方面优于HunyuanVideo-13B[29] - 文生图任务在GenEval和DPG基准上表现优异，在位置和物体关系方面具有明显优势[25]