Jul, 2022

TRUST-LAPSE: 可解释且可行动化的模型监控不信任评分框架

PDF
TL;DR采用基于序列的概率算法，使用 Mahalanobis 距离和余弦相似度评估在潜空间嵌入中的模型预测的可信度，找到模型的关键失败点，进而提高数据漂移检测的准确率。
continuous monitoringmachine learningtrustworthinesslatent spacesequential mistrust score
发现论文，激发创造
  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023

  • 超越马氏距离评分的文本 OOD 检测方法

    该论文介绍了一个新的用于识别分布转移的未监督 OOD 检测器 TRUSTED，它基于变压器架构和数据深度的概念，实现了高效计算和最好的性能，能够有效地提高深度学习在实际应用中对于自然语言处理系统的适用性。

    Nov, 2022

  • 信任，但请验证：使用自监督探究来提高可信度

    本文介绍了一种新的自我监督探测方法，该方法能够检查和减轻训练模型的过度置信问题，从而提高其可信度。此方法在信任相关任务 (误分类检测、校准和超出分布检测) 中得到了广泛验证和应用。

    Feb, 2023

  • 使用陡峭斜率损失函数学习预测可信度

    本文研究了在真实世界的大规模数据集中预测可信度的问题，引入了一种新的陡峭斜率损失函数，来提高预测器的泛化能力，并在 ImageNet 数据集上对其进行了实验和分析。

    Sep, 2021

  • 机器学习分类器的自动可信度测试

    提出了 TOWER 技术，它是第一个自动创建可靠性判断器的技术，该技术可以根据解释技术的输出自动评估与模型无关的文本分类器的可靠性。通过使用噪声数据获得的不可靠模型进行无监督学习，找到 TOWER 的最佳配置。在人工标记的可靠性数据集上评估 TOWER，结果显示 TOWER 能够检测到可靠性的降低，但在与人工标记的数据集对比时效果不佳。初步实验结果表明我们的假设是有效和有前景的，但还需要进一步研究以更好地了解解释和可靠性问题之间的关系。

    Jun, 2024

  • 为什么我应该信任你？": 解释任何分类器的预测

    本文提出了一种可解释性的机器学习算法解释技术 ——LIME，基于该技术可以在一个可解释且可靠的小规模模型内对任何分类器的预测进行解释，从而提高了可信度和可理解性，实现了对于信任度的估计及诸多信任场景的适用性。

    Feb, 2016

  • 伟大的模型思考一致：通过模型潜在一致性改善模型可靠性

    本文提出了一种通过测量模型潜在空间与基础模型潜在空间之间的一致性来估计模型可靠性的方法，并设计了一种邻域一致性度量方法，该方法与模型的预测置信度相结合显著提高了模型的可靠性，并在各种数据集上的失败检测实验中验证了该方法的有效性。

    May, 2023

  • 用快速对抗校准实现深度神经网络中值得信赖的预测

    为了让实际应用的人工智能系统更加被广泛认知，模型的可信度至关重要。文章提出了一种新的训练策略，结合熵鼓励损失项和对抗校准损失项，以提高样本在领域世界偏移下的校准性和适应性。文章在不同的数据模式、数据集和网络架构上进行了全面的评估，结果显示该方法明显高于现有的最先进方法，应用于领域漂移下预测方面具有技术上的可信度。

    Dec, 2020

  • DetAIL：一款自动检测和分析语言漂移的工具

    本论文旨在确保 “基于机器学习和深度学习” 的系统能够像传统软件一样可靠。论文提出了一种度量数据漂移的方法以及在其发生时自适应地重新训练模型的方法，并生成不同层面的解释以理解漂移原因。

    Nov, 2022

  • 基于反事实梯度的神经网络预测可信度量化

    利用反事实梯度的方差作为信任度量衡，提出了 GradTrust 来探测大规模神经网络的误判率，并在 ImageNet 和 Kinetics-400 数据集上进行验证，结果表明 GradTrust 在 37 个实验模式中表现得最好。

    May, 2024