现代确定性检索管道通过集中追求最先进的性能，但在决策过程中往往缺乏可解释性。本文将不确定性校准和可解释性引入检索管道，通过引入贝叶斯方法和多角度检索来校准检索管道中的不确定性。我们结合 LIME 和 SHAP 等技术分析黑盒子再排模型的行为，并用这些解释方法得到的重要性分数作为补充关联分数来增强基本再排模型。通过在问答和事实核查任务上对不确定性校准和可解释性再排的评估，我们的方法在三个 KILT 数据集上展示了显著的性能提升。

Feb, 2024

通过分析神经网络排序器的不确定性和标定性，本文提出了一种新的基于主义预测分布的随机排名器来解决常见的对话响应排序领域中的风险问题。其中，BERT-based rankers 的标定性不稳定，而 uncertainty estimation 模型则对风险感知神经排序和预测无法回答的对话背景具有益处。

Jan, 2021

作者提出了一个有效的 PG-DRR 框架来解决深度神经网络不可靠的预测问题，该框架在保持相同性能的情况下，通过添加高斯过程层和拆分 Pólya- Gamma 扩张来实现对对话响应检索模型的可靠度和不确定性估计。

Mar, 2023

开发了一种名为 “Rank-Calibration” 的新颖实用框架，用于评估语言模型的不确定性和置信度，通过量化与生成质量的关系偏差的方式，消除了二进制阈值化的需求，并在实证验证中展示了方法的广泛适用性和细粒度可解释性。

Apr, 2024

本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

Jul, 2018

提出了一种新颖的基于排名感知的不确定性方法，通过使用提供的三元组来建模多对多的对应关系，学习特征的随机排名列表，并对源输入和目标图像的分布表示进行分布规范化，从而在组合图像检索的两个公共数据集上取得了显著的结果。

Aug, 2023

优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法，通过可微的 loss 函数来实现模型的不确定性校准，结果显示比现有的方法在大规模图像分类任务中表现的更好

Dec, 2020

该研究旨在提出一种更好的置信度校准指标 —MacroCE，该指标能更好地捕捉模型给出正确预测时高信心和给出错误预测时低信心的情况，并针对开放领域问答的实际应用，提出了新的校准方法 ConsCal，该方法不仅考虑模型的最终预测，还考虑了多个模型检查点的一致性预测，提供了一种全新的校准视角、新的指标以及根据指标提出了更加有效的校准方法。

May, 2022

我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

Feb, 2024

通过在科学任务中综合评估检索增强的语言模型中的不确定性量化，本研究旨在填补检索增强语言模型不确定性量化方面的研究空白，发现检索语料库中包含的科学知识无法解决模型对预测结果过度自信的问题。

Nov, 2023