通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

Aug, 2023

本文分析了目前认证方案存在的挑战和不足，讨论了开放的研究问题，并针对基于机器学习的分布式系统提出了第一个认证方案。

May, 2023

应用人工智能（AI）和机器学习（ML）在关键领域，如医学，需要实施安全措施，以降低预测错误带来的风险。本研究提出了一种评估 ML 预测可靠性的方法，该方法旨在通过检测 ML 失败来提供对临床决策的决策支持，并开发了一个名为 relAI 的 Python 包来嵌入可靠性度量到 ML 流程中。

Feb, 2024

本章探索了机器学习（ML）中鲁棒性的基本概念及其在建立可信人工智能（AI）系统中的关键作用。讨论从详细定义鲁棒性开始，描绘了 ML 模型在各种意外环境条件下保持稳定性能的能力。通过不同视角剖析 ML 鲁棒性：与泛化能力的互补性，作为可信 AI 的要求，对抗性与非对抗性方面，定量评价指标，以及可重复性和可解释性等指标。本章深入探讨了影响鲁棒性的因素，如数据偏差、模型复杂性和不规范的 ML 流程的陷阱。从广泛的角度调查了鲁棒性评估的关键技术，包括对抗性攻击，包括数字和物理领域。它还涵盖了非对抗性数据转移和深度学习（DL）软件测试方法的细微差别。讨论进一步探索了增强鲁棒性的改进策略，从以数据为中心的方法如去偏和增强开始。进一步的研究包括各种以模型为中心的方法，如迁移学习、对抗训练和随机平滑等。最后，讨论了训练后方法，包括集成技术，修剪和模型修复，作为提高模型对不可预测因素的适应性的经济有效策略。本章强调现有方法对 ML 鲁棒性的估计和实现所面临的挑战和局限性，并为未来关于这一关键概念的研究提供了洞见和方向，作为可信 AI 系统的先决条件。

Apr, 2024

ML 在安全性方面存在漏洞，提出威胁模型并对攻击进行分类，探究了模型准确性与抗敌对操作的关系。

Nov, 2016

本文研究环境条件对机器学习代理的能力的影响以及实时能力评估如何提高 ML 代理的可靠性。我们学习了一个条件表示，这个表示能够影响 ML 代理的策略和性能，从而能够确定 ML 代理在模拟自驾车的障碍 Avoidance 任务中使用视觉图像维护操作员期望的行动。

Dec, 2022

本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

Jun, 2020

本文通过系统性文献综述的方式，对深度神经网络的可靠性评估方法进行了归纳总结，提出了故障注入、分析以及混合方法等三种可靠性评估方法，评估了这些方法的优缺点和应用场景，同时也指出了目前研究中存在的问题和挑战。

May, 2023

机器学习（ML）是一种有效的人工智能（AI）技术，正在广泛应用于多个领域，作者通过对 163 篇科学文章的综述研究，系统地调查了深度学习（ML 技术之一）对硬件错误的弹性，明确阐述了这一文献流的优势和不足，并提出了未来的研究方向。

Sep, 2023

机器学习算法在实际应用中发展日益复杂，特别是在医学和工程等高风险应用中使用机器学习技术时，预测模型的失败概率至关重要。我们提出了风险评估任务，并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题，该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质，我们证明了所提方法的近似失败概率是保守的，不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

Oct, 2023