Vamba团队 投稿 量子位 | 公众号 QbitAI Mamba混合架构视频模型来了，不再对视频token进行压缩—— 而是通过改进模型架构设计的方式提升模型在训练及推理预填充阶段处理视频token的效率。 滑铁卢大学陈文虎团队与多伦多大学、零一万物、向量学院以及M-A-P的研究人员提出了一种新的Mamba-Transformer混合模型Vamba。 通过大量实验验证，研究团队发现Vamba在同等硬件条件下可处理的视频帧数较传统Transformer架构提升4倍，训练内存消耗降低50%以 上，并且可实现单步训练速度的翻倍。 同时，该方法完整保留了原始视频的时空特征，避免传统方法因降采样或池化操作导致的关键动作或场景的信息丢失。 在多个长视频的评价标准上，Vamba保持了高准确率和出色的性能，尤其在LVBench长视频理解基准上相较先前的高效长视频理解模型达到 了约4.3%的性能提升。团队现已开源Vamba模型的代码、模型权重以及训练、推理脚本供研究社区进一步探索与应用。 核心方法 目前流行的多模态大语言模型多使用Transformer作为模型的基本结构，其中的因果注意力机制相对于输入的token序列长度存在 ...

立即点击 ▲ 观看视频 在东方人的哲学里 In the Eastern philosophy 时间或许是个循环 time maybe moves in cycles 从出发的那一刻起 From the moment we set out 就在无形中播下了"因" a seed of karma is sown invisibly 当下的所有相遇 Every encounter in the present 都是"因"与"果"的重逢 is a reunion of 'cause' and 'effect' 就像冰雪覆盖的冬季下 like seeds beneath winter's frozen veil 那些等待呼应春天的种子 waiting to echo spring's call 在中华历表中 Within the Traditional Chinese Calendar 五行与天干呼应 the Five Elements resonate with Heavenly Stems 循环与变化呼应 cycles converse with transformation 中国人擅长在变化中找到节奏 And t ...