数据合成方法现状与挑战 - 现有数据合成方法在合理性和分布一致性方面存在不足，缺乏自动适配不同数据的能力，扩展性较差 [1] - 大语言模型受限于采样效率和上下文窗口大小，难以直接合成大规模数据集 [2] - 当前亟待解决如何用大模型生成结构对齐、统计可信、语义合理的数据 [3] LLMSynthor方法概述 - 麦吉尔大学团队提出LLMSynthor方法，使大模型成为结构感知的数据模拟器，为隐私敏感、数据稀缺场景生成高质量替代数据 [4] - 传统方法如贝叶斯网络、GAN存在建模高维依赖困难、泛化差、生成语义荒谬样本等问题 [5] - LLMSynthor通过统计对齐反馈迭代优化，不直接生成数据而是生成可采样的分布规则 [5][15] LLMSynthor技术框架 结构推理 - 关键创新是用大语言模型模拟Copula，利用LLM内化的现实世界联合分布高维先验 [9][10] - 结合统计摘要理解，推断变量间高阶关系并挖掘隐藏依赖 [11] 统计对齐 - 通过统计摘要衡量真实数据与合成数据的差距，保留结构信息同时避免泄露个体数据 [12][13] - 对齐机制可归因，能定位具体偏差来源并用于结构调整 [13][14] 生成分布规则 - 生成可采样的分布规则而非逐条样本，如"25岁女性、在一线城市、购买美妆产品" [15] - 受统计反馈和LLM常识引导，避免荒谬变量组合，支持跨模态协同生成 [16][17] 迭代对齐 - 通过"结构推理-统计比较-规则生成-新数据采样"循环，生成结构统计高度接近真实且符合常理的数据集 [18] 理论保障与实验验证 - 具备局部结构一致性定理，数学保障误差收敛至可控范围 [20][21] - 在电商交易场景中，LLMSynthor边缘与联合分布误差最优（如Tvd=0.002 vs TVAE的0.008） [24][26][28] - 人口微观合成中，6类16项政策指标显著优于已有方法（如老年贫困率误差0.25 vs CP的5.79） [30][32] - 城市出行模拟能响应prompt控制生成，展现现实还原力和场景操控能力 [35] 兼容性与应用前景 - 兼容多种大模型如Qwen-2.5-7B，生成效率高且无需训练 [39] - 适用于电商、人口统计、城市出行等多场景，支持政策仿真与事件预演 [22][35]