提高机器学习模型的准确性不足以建立弹性的人工智能系统，为此，本文提出了一种结合人工和机器智能的多智能体系统，通过计算信任分数、标准化以及人工规则检验等策略优化模型的准确性和可信度。实验结果表明，基于所提出的多智能体系统的算法相对于基线方法，在使用少量额外标签的情况下，有着更高的准确性和信任分数。

Apr, 2022

本文介绍了一种基于神经网络的精度监测模型，可用于监测深度神经网络的真实推断精度，并提高深度神经网络在安全关键应用中的可信度。我们的方法对于图像分类和交通标志检测等多个数据集有效。

Jul, 2020

自我监督能够提高深度学习在鲁棒性、异常检测等难题上的表现甚至超越了全监督学习，成为未来自我监督学习研究的新方向。

Jun, 2019

本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

Oct, 2022

本文提出了一种基于两个模型范式的深度神经网络置信度评分机制，通过在任务中观察基础模型的成功 / 失败来学习元模型的置信度评分，实验结果表明该方法在过滤任务中优于各种基线，并使用带或不带噪声的 CIFAR-10 和 CIFAR-100 数据集进行了实验研究，讨论了置信度评分在实验和实际应用之间的重要性。

May, 2018

提出了 TOWER 技术，它是第一个自动创建可靠性判断器的技术，该技术可以根据解释技术的输出自动评估与模型无关的文本分类器的可靠性。通过使用噪声数据获得的不可靠模型进行无监督学习，找到 TOWER 的最佳配置。在人工标记的可靠性数据集上评估 TOWER，结果显示 TOWER 能够检测到可靠性的降低，但在与人工标记的数据集对比时效果不佳。初步实验结果表明我们的假设是有效和有前景的，但还需要进一步研究以更好地了解解释和可靠性问题之间的关系。

Jun, 2024

通过检查训练过程中的预测一致性，我们提出了一种自信度评估方法，用于半监督学习场景下在大部分训练标签不可用的情况下合理地估计模型对未标记样本的自信度。我们使用训练一致性作为替代函数，并提出了一种一致性排序损失函数用于自信度评估。在图像分类和分割任务中，我们的方法实现了自信度评估的最新性能。此外，我们通过一个下游主动学习任务展示了所提方法的好处。

Jul, 2023

本文提出了一个结合了模型集成学习和自训练的框架，用于解决深度学习模型在实际部署中遭遇训练数据分布不同的测试数据导致性能下降的问题，同时解决无监督准确度估计和错误检测两个挑战性任务，并在 59 项任务中取得了最优结果。

Jun, 2021

为了让实际应用的人工智能系统更加被广泛认知，模型的可信度至关重要。文章提出了一种新的训练策略，结合熵鼓励损失项和对抗校准损失项，以提高样本在领域世界偏移下的校准性和适应性。文章在不同的数据模式、数据集和网络架构上进行了全面的评估，结果显示该方法明显高于现有的最先进方法，应用于领域漂移下预测方面具有技术上的可信度。

Dec, 2020

描述了一种验证深度神经网络对医学图像分割输出的方法，对各类随机和最坏情况下的扰动即对抗性攻击具有鲁棒性。该方法基于作者最近提出的一种称为 “信任但验证” 的通用方法，其中辅助验证网络使用分割结果作为输入对输入图像中的某些掩码特征进行预测。通过将这样一个网络的预测与原始图像进行对比，可以检测到错误的分割结果。为了确保验证方法真正具有鲁棒性，我们需要一种不依赖于黑盒神经网络的预测质量检测方法。实际上，我们表明之前利用深度神经回归网络进行分割评估的方法容易产生错误负例，即错误地将错误的分割标记为正确。我们描述了一种避免这种脆弱性的验证网络设计，并展示了相比之前的方法其鲁棒性的结果。

Oct, 2023