该研究论文讨论了检测回归算法中的不可靠行为的挑战，首先正式介绍了回归中的不可靠性概念，然后利用概率建模工具估计误差密度并测量其统计差异性，从而得出表达回归结果不确定性的数据驱动评分。实验证明在多个回归任务中，该方法在错误检测方面的性能显著优于流行的基准方法，并为不确定性量化和安全机器学习系统的广泛领域做出贡献。

Jun, 2024

本文提出了一种新颖的非侵入式系统故障预测技术，该技术利用开发人员提供的信息和原始日志中的最小信息（而不是挖掘整个日志），并将数 据完全保留在数据所有者的管辖范围内。

Sep, 2022

通过使用深度强化学习方法，本研究通过有限的人类反馈探索和构建预训练的辨别模型和生成模型的失败模式，并展示了如何重构这些失败模式以更好地满足需求，从而解决大规模深度神经网络在准确性、社会偏见和与人类价值观的一致性等方面可能出现的问题。

Jun, 2024

机器学习算法在实际应用中发展日益复杂，特别是在医学和工程等高风险应用中使用机器学习技术时，预测模型的失败概率至关重要。我们提出了风险评估任务，并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题，该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质，我们证明了所提方法的近似失败概率是保守的，不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

Oct, 2023

研究机器学习模型可能与标签具有虚假关联的导致测试准确度不高的基本因素，并通过理论研究和实验构建证明，认为数据中虚假相关性引起的几何偏差和统计偏差是两种互补且相对的失败模式。

Oct, 2020

本研究通过实验挑战了深度网络泛化不良的原因在于恢复 “正确” 特征失败的观点，并提出了一种新的领域调整回归（DARE）方法，该方法根据分布转移的新模型，通过域特定调整来统一一个规范潜在空间，并在该空间中学习预测。在有限环境下，该方法的收敛保证了最小最优预测器，相比之前的方法，该方法表现更好。

Feb, 2022

本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。

Dec, 2020

机器学习系统 accountability 评估方法 fail 特点系统 Pandora 优势。

Sep, 2018

本文提出了一种基于高斯过程的新框架 RED，以产生一种可靠的误分类错误检测度量，从而改善神经网络分类器的可靠性和可拓展性。该方法的有效性在 125 个 UCI 数据集、两个概率基分类器和两个大型深度学习结构的视觉任务中得到了证实，并能够检测错误并理解其来源。

Oct, 2020

本文提出了一种使用生成模型来检测分类器失效的方法，在三种分类错误中测试了该方法的有效性，并探讨了半监督学习中不受类标签影响的适用性。

Oct, 2020