Mar, 2024

解释不确定性的合理性检查

PDF
TL;DR在本文中，我们提出了用于不确定性解释方法的合理性检查方法，其中定义了用于不确定性解释的权重和数据随机化测试，可以快速测试不确定性和解释方法的组合。我们在 CIFAR10 和 California Housing 数据集上进行了实验证明了这些测试的有效性，并注意到 Ensembles 似乎始终通过 Guided Backpropagation、Integrated Gradients 和 LIME 解释这两个测试。
发现论文，激发创造
  • 神经网络中基于梯度的解释的不确定性量化

    本文提出一个流程，通过结合不确定性估计方法和解释方法来确定神经网络解释的不确定性，使用该流程对 CIFAR-10、FER + 和加利福尼亚房屋数据集生成解释分布，并通过计算这些分布的变异系数来评估解释的置信度，结果表明使用引导反向传播生成的解释具有较低的不确定性，并计算修改后的像素插入 / 删除指标来评估生成解释的质量。

    Mar, 2024

  • 可靠的事后解释：解释性中的不确定性建模

    本文提出了基于贝叶斯框架的黑盒模型解释方法，能够生成可靠的局部解释和其关联的不确定性，并且具有稳定性和高度一致性，可以快速地解决几个重要问题。通过实证研究，证明了该方法的有效性，并提高了解释的可靠性。

    Aug, 2020

  • 概念解释估计应该具备不确定性意识

    用可理解的人类概念来解释模型的全局解释的不稳定性问题以及提出了一种基于不确定性的贝叶斯估计方法，可以提高概念解释的可靠性。

    Dec, 2023

  • 思维周期：通过稳定解释衡量 LLM 的信心

    通过使用解释蕴涵作为分类器可能性，我们提出了一种框架来测量语言模型不确定性，以改善置信度指标 (AURC 和 AUROC)。

    Jun, 2024

  • 研究模型不稳定性对解释和不确定性的影响

    通过人为引入噪音来模拟文本输入的认知不确定性，在大规模实证研究中，我们插入不同级别的噪音扰动，并测量其对预训练语言模型输出和不同不确定性度量的影响。实际扰动对性能和解释几乎没有影响，而掩饰却有极大影响。我们发现在训练过程中暴露噪声时，高不确定性不一定意味着解释的可信度低；两个度量之间的相关性可能是适度正向的，这表明在不确定时加入噪声的模型可能更容易识别显著的标记。此外，当预测和认知不确定性度量过于自信时，对扰动的鲁棒性可能表明模型的稳定性问题。Integrated Gradients 显示了对扰动的整体最大鲁棒性，同时仍显示出模型特定的性能模式；然而，这种现象仅限于较小的基于 Transformer 的语言模型。

    Feb, 2024

  • 集成算法处理模型不确定性下的一致解释

    该研究利用集成方法，针对预测模型的不确定性问题，提高了解释的一致性，并在金融数据集上进行实验，证明了集成方法在机器学习中提高可靠性的有效性。

    Jun, 2023

  • Android 恶意软件分析解释器的合理性检查

    本研究提出了基于三个关键定量指标的规范化指南来评估五种解释方法的质量，得出了大部分恶意行为的知识，并对获得的解释结果进行了桥段检查，得出了结果。

    Aug, 2020

  • 解释的普适性

    本文提出了一种新的可解释性方法评估方法，从可泛化性的角度出发，使用自编码器学习生成解释的分布，并观察其可学性和学习分布特征的合理性；同时进行了 LIME 可解释性方法的直观演示，以及对多个流行可解释性方法的数量评估，并发现使用 SmoothGrad 来平滑解释可以显著增强解释的泛化性。

    Feb, 2023

  • 我能信任你多少？-- 量化解释神经网络的不确定性

    提出了一种新的框架，它可以将任意的深度学习神经网络解释方法转换为基于贝叶斯神经网络的解释方法，并内置建模不确定性的方式来量化解释的不确定性，从而确立与模型解释相关的不确定性，并在各种定量和定性实验中证明了该方法的有效性和实用性。

    Jun, 2020

  • 获取线索：解释不确定性估计的方法

    提出了一种新方法，Counterfactual Latent Uncertainty Explanations（CLUE），它能够解释可微分概率模型（如贝叶斯神经网络）的不确定性估计，并能够使从业者更好地理解哪些输入模式会导致预测不确定性。

    Jun, 2020