报告行业投资评级 未提及 报告的核心观点 - 机器学习系统虽能力强但不可靠，构建能“知道自己未知”的系统即进行不确定性量化是解决问题的方法，但这是一个开放且广泛研究的难题 [3][4][5] - 可靠量化不确定性面临校准和分布偏移的挑战，现有方法各有优缺点，虽不能完美解决问题，但能提升系统可靠性 [6][15][23] - 不确定性量化研究在提升机器学习系统可靠性方面取得进展，未来有望从基础研究转向实际工程挑战 [34] 根据相关目录分别进行总结 引言 - 过去十年机器学习研究取得进展，但系统能力强却不可靠，如ChatGPT表现不稳定，这对其在现实场景中的部署构成挑战 [3] - 直观的解决办法是构建能“知道自己未知”的机器学习系统，这对广泛应用的AI系统尤为有用，但设计此类系统颇具挑战 [4][5] 可靠量化不确定性的挑战 - 理想的机器学习模型应能正确预测并指示预测可能错误的情况，专家用“校准”描述这种期望行为，即预测不确定性应与预测错误概率相校准 [6] - 以医疗机器学习分类系统为例，校准良好的系统能让用户考虑预测正确的可能性，其分配的概率越接近评估数据中的真实比例，校准越好 [13][14] 理解分布偏移 - 构建在实验室中能表达校准良好的预测不确定性的系统是可行的，但在现实世界中可靠量化不确定性的挑战源于“分布偏移”，即机器学习系统遇到的数据分布在不同场景下会发生变化 [15] - 分布偏移难以精确检测、测量和定义，多数情况下无法提前预知系统在现实世界中会遇到的意外情况，这使得量化不确定性和模型泛化都变得困难，“不确定性泛化”是机器学习研究中重要但相对未充分探索的领域 [16][17][18] 准确表征不确定性 - 机器学习分类模型产生的概率分数通常不能有效指示模型的不确定性，一是因为训练过程优化的是准确输出而非校准概率，二是系统无法表达“以上都不是”的情况 [19][20] - 由于分布偏移的挑战，AI开发者通常没有能代表“以上都不是”选项的广泛可能性的数据，因此难以训练出能一致识别不同输入的模型 [20] 现有的不确定性量化方法 - 确定性方法通过在训练中促使模型对某些输入示例表现出高不确定性，使模型在与训练数据相似的数据上准确，对其他数据显示高不确定性，但在实际部署中可能失败，无法保证预测不确定性估计的可靠性 [25][26] - 模型集成方法将多个训练好的模型组合并平均其预测，通过预测的标准差表示不确定性，在实践中常能提供较好的预测不确定性估计，但成本高，且无法确保对所有输入示例都能提供可靠、校准良好的估计 [27] - 共形预测是一种统计上有良好基础的方法，能在一定假设下提供数学可靠性保证，但假设（模型部署时遇到的数据与训练数据由相同的数据生成过程产生）常不成立，且难以检测假设是否被违反，容易失败 [28][29] - 贝叶斯不确定性量化使用贝叶斯推理，能准确表示模型的预测不确定性，但在现代机器学习模型上进行精确推理计算不可行，只能使用近似方法，从而失去了准确表示不确定性的保证 [30] 使用不确定性量化的实际考虑 - 不确定性量化方法是提高现代机器学习系统可靠性的有力工具，虽各有缺点，但在大多数情况下能成功提升系统量化不确定性的能力，可作为标准训练程序的“附加组件”，为部署的系统增加安全层 [31] - 考虑人机交互对有效使用不确定性量化方法至关重要，包括解释模型的不确定性估计、确定人类操作员可接受的不确定性水平以及理解不确定性估计不可靠的情况，同时要避免因使用不确定性估计而产生过度自信 [32] 展望 - 越来越多的人关注如何使用不确定性量化来缓解大语言模型的弱点，如幻觉问题，一些研究开始探索聊天机器人等基于语言的系统如何“知道自己未知”，但语言生成存在挑战，因为往往没有单一正确答案 [33] - 由于可靠量化不确定性的根本挑战，不应期望为语言生成或其他类型的机器学习开发出完美的解决方案，但相关研究在提升机器学习系统的可靠性和鲁棒性方面已取得进展，未来不确定性量化有望从基础研究转向实际工程挑战 [33][34]