多模态指令数据合成方法Oasis - 核心观点：提出一种新型多模态指令数据合成方法Oasis，仅需用户提供图片即可自动完成指令合成、质量控制和回复生成，显著降低人工成本并提升数据多样性[1][6][21] - 方法优势：打破依赖预设文本提示词的传统模式，利用图像输入诱导MLLM自主生成多样化指令，完全无需人工前置文本提示[6][14][15] - 质量控制：设计四维度筛选标准（可解性/清晰度/幻觉程度/无意义性），高质量指令接受率为50.9%[19][49][50] 技术流程 - 三步法：构造钩子提示词诱导自回归采样→LLM分类保留指令型数据→质量控制与回复生成[11][16][18] - 分类机制：采样结果分为指令型（保留）和描述型（舍弃），通过率为49.9%[15][16][46] - 垂域合成：基于OCR相关图片合成70k垂域数据，在OCR任务benchmark上提升显著[43] 数据特性 - 规模与扩展性：基于Cambrian-10M图片合成500k训练数据（Oasis-500k），数据量可线性增长[21] - 语言多样性：覆盖英文（78.52%）、中文（18.66%）及多种小语种[27] - 任务多样性：指令平均长度76.8（LLaVA-NeXT为55.03），动词-名词组合覆盖更广[24][28][33] 性能验证 - 基准测试：在14个benchmark上平均提升Vicuna1.5/Qwen2.5/Llama3模型性能3.1%/1.8%/3.2%[36][38] - 增量实验：500k Oasis数据使LLaVA-100k模型性能提升5.2%，300k→500k阶段增益达4.0%[40][41] - 消融结果：指令质量控制使模型整体性能提升1%，DocVQA/InfoVQA任务提升超7%[45][50] 开源生态 - 代码库MM-INF：集成Oasis及常用多模态数据合成方法，支持模块化数据合成流程[2][52] - 资源开放：提供论文、代码及数据集链接，涵盖Qwen2-VL等模型实现细节[4][12][52]