本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈， 首发于「张小珺商业 访谈录」。 张祥雨专注于多模态领域，他提出了 DreamLLM 多模态大模型框架，这是业内最早的图文生成理解 一体化的多模态大模型架构之一，基于这个框架，阶跃星辰发布了中国首个千亿参数原生多模态大 模型 Step-1V。此外，他的学术影响力相当突出，论文总引用量已经超过了 37 万次。 一直以来，业界都相当期待一个理解、生成一体化的多模态，但直到今天这个模型还没出现，如何 才能达到多模态领域的 GPT-4 时刻？这一期对谈中，祥雨结合自己在多模态领域的研究和实践历 程，从纯粹的技术视角下分享了自己对多模态领域关键问题的全新思考，在他看来，虽然语言模型 领域的进步极快，但多模态生成和理解的难度被低估了： • 接下来 2-3 年，多模态领域会有两个 GPT-4 时刻：多模态推理和自主学习； • 多模态生成理解一体化难以实现的原因在于，语言对视觉的控制能力弱，图文对齐不精确，数据质 量有限，生成模块往往无法反向影响理解模块等； • 模型 scale 到万亿参数后，在文本生成和知识问答能力增强的同时，推理能力，尤其是数学， ...