该研究提出了一种名为Prior Networks（PNs）的框架来模型化分类任务中的数据和分布不确定性，并在MNIST数据集上实现了对OOD样本的识别和误分类的检测，与之前的方法相比，PNs具有更好的表现。

Feb, 2018

本文探讨机器学习系统在面对各类输入时，如何通过检测数据集漂移并量化其恶性，从而建立高鲁棒性的系统，同时提出使用预训练分类器的双样本测试法在多种数据集漂移情况下表现最佳，且判别方法有助于定性确定数据集漂移的影响。

Oct, 2018

研究发现现有的分布距离度量方法，例如Frechetdistance或Maximum Mean Discrepancy，不能在分布偏移中可靠地估计模型性能；然而，分类器预测的置信度差异能够成功地估计分类器在各种转移情况下的性能变化，并且在几个现实和具有挑战性的分布转移中有效地减少预测误差近一半（46％），这一方法称为DoC(Difference of Confidences)。

Jul, 2021

本文提出了一种简单的序列工具，用于测试源（训练）和目标（测试）数据分布之间的区别是否导致了风险函数的显著增加，同时忽略良性的变化，且不增加误报率，通过在一系列模拟数据集和真实数据集上的实证研究，证实了该方法的有效性。

Oct, 2021

该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对500多个模型进行了分析，为未来的研究和发展提供了指导。

Jul, 2023

监督的公平感知机器学习在面临数据分布从源领域到目标领域的变化时，是一个新兴的领域，解决了在实现公正和无偏预测方面的挑战。本综述提供各种类型的分布变化的总结，并全面调查了现有方法，重点介绍了文献中常用的六种方法。此外，本综述列出了可用于经验研究的公开数据集和评估指标。我们进一步探讨了与相关研究领域的相互连接，讨论了重大挑战，并确定了未来研究的潜在方向。

Feb, 2024

应用人工智能（AI）和机器学习（ML）在关键领域，如医学，需要实施安全措施，以降低预测错误带来的风险。本研究提出了一种评估ML预测可靠性的方法，该方法旨在通过检测ML失败来提供对临床决策的决策支持，并开发了一个名为relAI的Python包来嵌入可靠性度量到ML流程中。

Feb, 2024

可靠度的强大测量是机器学习、法律和政策研究领域的重要课题，其中关键问题包括可靠度测量的设计准则、大规模和实践中的测量方法，以及与同一研究愿景相关的不同学科所涉及的研究问题。

Jun, 2024

数据分布转变达到某个阈值时，自治系统必须放弃控制并停止运行或移交给人工操作员，本文通过计算机视觉玩具例子演示了数据分布转变对网络预测准确性的影响，并提出了训练数据和测试数据之间的距离度量来定义在这些转变范围内的安全操作限制，结论是当数据分布转变超过经验阈值时，无法指望网络预测准确性不会下降。

Jun, 2024

该研究引入了误分类概率矩阵（MLM）作为一种新的工具，用于在分布转变下量化神经网络预测的可靠性。通过利用softmax输出和聚类技术来测量训练好的神经网络预测与类别中心之间的距离，获得了MLM。通过分析这些距离，MLM提供了模型误分类倾向的全面视图，使决策者能够识别最常见和关键的错误来源。MLM允许根据可接受的风险水平确定模型改进的优先次序和决策阈值。该方法在MNIST数据集上使用卷积神经网络（CNN）和扰动版本的数据集进行了评估，以模拟分布转变。结果显示了MLM评估预测可靠性的有效性，并突出了它在提高神经网络的解释能力和风险缓解能力方面的潜力。这项工作的影响超出了图像分类范围，在自动驾驶车辆等自主系统中具有广泛应用，以改善复杂实际环境中的决策安全性和可靠性。

Jul, 2024