文章核心观点 - LLM生成内容的不确定性估计应超越Token级和Sequence级颗粒度，转向与完整语义单元对齐的Span级不确定性估计（SLUE），使不确定性成为下游系统可理解、可利用的决策信号 [2][13] - 提出SpanUQ方法，通过约25M参数的轻量级Probe利用预训练LLM的Hidden States，在单次前向传播中同时完成语义片段检测与不确定性估计，相较Sampling-Based方法实现约10–20×推理加速 [19][32] - 构建SpanUQ-Bench基准，包含20K Prompts、约293K Annotated Spans及连续不确定性标签，为SLUE任务提供标准化评估基础 [35][27] 现有不确定性估计的颗粒度局限 - Token-Level方法利用token概率分布（如entropy或token probability）估计不确定性，额外计算开销低且颗粒度细，但Token不天然对应完整语义单元，单个token不确定性无法直接反映整个事实声明的可靠性 [7][8] - 语言生成中的概率不确定性不等价于事实层面不确定性，模型可能高置信度生成错误事实，也可能因多种合理表达方式对正确内容表现出高token entropy [8] - Sequence-Level方法通过多次采样、语义一致性比较等为完整生成序列计算单一uncertainty score，能整体衡量可靠性，但难以定位具体问题部分 [9] - 示例中"Marie Curie was a Polish physicist who won the Nobel Prize in 1901"包含多个事实，前两项正确、最后一项获奖年份错误，Sequence-Level方法只能给出整体分数而无法定位问题事实 [9][10] Span-Level不确定性估计任务定义 - 核心观察：人类理解、验证和使用信息以具有完整语义的内容片段为单位，而非token或整段文本 [13] - SLUE目标是在LLM生成文本中识别具有完整、可独立评估语义的文本片段（Semantic Spans），并为每个片段估计对应不确定性 [13] - 三项设计原则：语义完整性（每个Span对应可独立理解评估的语义单元）、细颗粒度定位（精确定位部分不确定内容而非仅给整体分数）、可被下游系统利用（针对不同片段采用不同处理策略）[15] - 可操作性尤为重要，使不确定性估计从模型评估任务成为连接LLM生成与下游决策的桥梁，同时补充而非取代Token级和Sequence级方法 [15] SpanUQ方法设计 - 核心思路：将昂贵的Multi-Sample不确定性信息提取并蒸馏到轻量级模型中，使其通过单次前向传播完成预测 [19] - 从预训练LLM提取Hidden States，通过Multi-Layer Fusion与Token Encoder转换为Span-Level预测特征，原始LLM参数保持冻结，仅训练轻量Probe学习Hidden States与不确定性标签的映射 [20] - 设计DETR-Style Span Decoder，使用一组可学习Span Queries通过Cross-Attention与文本特征交互并行预测多个语义片段，克服BIO Tagging在重叠Span和灵活边界上的限制 [21][22] - Span Detector达到0.910 F1，相较最强启发式方法取得39.4%的相对提升 [22] - 采用Mixture of Beta Distributions（MoB）建模0到1区间的连续不确定性，通过多个Beta Components组合表达复杂分布形态，训练结合Beta Negative Log-Likelihood与Contrastive Ranking Objectives [23] - 引入Uncertainty-Conditioned Iterative Refinement（UCIR），将第一轮预测的不确定性信息反馈到共享Decoder修正Span预测，额外开销低于15%并提升不确定性排序相关性 [24] SpanUQ-Bench基准构建 - 通过Multi-Sample Claim Verification构建连续Soft Labels：同一事实声明在多次生成与验证中表现强一致性则对应较低不确定性，表现高不一致性或缺乏稳定验证支持则不确定性更高 [27][28] - 多次采样经验信号不等价于绝对事实正确概率，但可为学习细颗粒度不确定性估计提供有价值监督信息 [28] - 目标是将SLUE从概念性研究问题转化为可训练、评估和比较的具体任务 [28] 实验结果 - 在五个LLM Backbone（涵盖两个模型家族，包括Dense和MoE架构）上评估，SpanUQ的AUROC达到0.908–0.944，MAE为0.110–0.129 [30][31] - 相较Token Entropy、MLP Probe、SelfCheckGPT-NLI、P(True)等Baselines展现更强综合表现，同时关注区分高低不确定性片段的能力与连续预测分数同目标标签间的误差 [31] - 具体数据：Qwen3-14B上AUROC 0.939、MAE 0.110；Qwen3-8B上AUROC 0.930、MAE 0.129；Qwen3-4B上AUROC 0.944、MAE 0.126；Qwen3-30B-A3B上AUROC 0.936、MAE 0.110；Mistral-7B上AUROC 0.908、MAE 0.126 [34] - 相较Sampling-Based方法实现约10–20×推理加速，说明细颗粒度不确定性估计不一定需要高昂多次采样成本 [32] - Sequence-Level不确定性在一定程度上具有可分解性，Span-Level估计不仅提供更细颗粒度信息，也可能帮助理解更高层级不确定性，不同颗粒度间存在可进一步建模的结构性关系 [33] 不确定性感知决策应用方向 - Uncertainty-Aware Verification：仅针对高不确定性片段调用搜索工具或验证模型，将有限计算资源集中于最需检查内容；不同不确定性程度对应不同验证策略（低不确定性优先直接使用、中等采用轻量级验证、高不确定性采用严格外部检索或多模型交叉验证）[38] - Uncertainty-Guided Self-Refinement：先定位高不确定性语义片段，再引导模型针对性验证、修改或重新生成，使Self-Refinement从整体级反复生成走向细颗粒度局部修正，避免修改原本正确内容 [39] - Uncertainty-Aware Multi-Agent Communication：Agent间不仅交换自然语言文本，还传递与具体语义单元关联的可靠性信号，接收方Agent可据此决定直接使用信息、请求补充证据或调用其他Agent交叉验证，系统可动态决定任务分配与计算资源投入 [40][41] - Multi-Agent场景开放问题：不同Agent使用不同基础模型时uncertainty score的可比性、跨模型confidence含义对齐、错误校准信号在系统中传播放大的风险 [41] 行业意义与研究展望 - 随着LLM从独立文本生成工具演变为复杂AI系统基础组件，衡量、理解并传递模型输出可靠性日益重要 [43] - 未来研究方向包括提升Uncertainty Calibration使其成为可信决策信号、利用Span-Level Uncertainty引导高效Verification与Self-Refinement、跨模型细颗粒度不确定性传递、扩展至复杂推理过程与代码生成等结构化输出 [43][44] - 研究目标从单纯模型评估拓展到更广泛的Uncertainty-Aware Decision Making，可定位具体语义内容的Uncertainty Signals将发挥越来越重要作用 [44] - 相关代码、模型和Benchmark已开放，论文发表于NeurIPS 2026 [4][44]