生成式视角下的监督学习范式革新 - 提出预测一致性学习（PCL）框架，通过噪声标签渐进式分解标签信息，实现标签信息的复用和价值挖掘 [1] - 核心思想是将标签作为学习过程的辅助参考而非单纯标准答案，借鉴生成式一致性模型的扩散过程 [1] - 通过引入噪声标签作为输入提示，模型在数据输入和噪声标签共同参照下预测完整标签 [1] PCL训练机制 - 传统监督学习直接对比预测结果与标准答案计算损失，PCL将学习过程分解为逐步逼近的渐进式任务 [4][5] - 采用扩散模型加噪过程，以不同噪声水平的带噪标签作为输入提示，约束跨噪声水平的预测一致性 [5][6] - 损失函数包含预测精度损失和一致性损失，权重由λ₁和λ₂控制 [8] 标签噪声处理技术 - 离散标签采用分类分布噪声过程，通过转移矩阵实现类别间转换 [9] - 连续标签采用高斯扩散模型，逐步添加方差为βₜ的高斯噪声 [10] - 复杂标签直接向潜在嵌入空间引入高斯噪声，计算效率与连续标签一致 [11] 推理阶段优化 - 测试时从随机噪声分布采样标签提示进行单步预测，实际效果优于传统监督学习 [14] - 多步推理策略通过逐步降低噪声水平细化输出，利用早期预测的提示信息提升精度 [14] - 训练目标是将低噪声条件下的高精度传递至高噪声条件，减少对标签提示的依赖 [7][19] 信息论理论基础 - 通过分解互信息I(X;Y)为条件互信息I(X;Y|Yₜ)和I(X;Yₜ)，实现标签信息的渐进式学习 [15][16] - 噪声标签Yₜ的信息量控制学习重点：高噪声时捕捉全局结构，低噪声时优化细节 [17] - 最小化噪声条件依赖项，确保预测结果在不同噪声水平下保持一致 [18][19] 跨模态实验结果 - 图像语义分割任务中，PCL单步预测即超越传统监督学习，多步推理进一步提升质量 [22][25] - 图模态预测显示推理步数存在最优平衡点，需通过早停机制避免误差累积 [26][27] - 语言模型微调任务中，PCL在LLaMa2-7B上表现优于传统方法，但噪声过程仍有优化空间 [30][31] 技术实现资源 - 论文与代码已公开，涵盖理论推导和实现细节 [33] - 实验覆盖视觉、图结构、语言三大模态，验证框架通用性 [20]