Jun, 2020

我能信任你多少？-- 量化解释神经网络的不确定性

PDF
TL;DR提出了一种新的框架，它可以将任意的深度学习神经网络解释方法转换为基于贝叶斯神经网络的解释方法，并内置建模不确定性的方式来量化解释的不确定性，从而确立与模型解释相关的不确定性，并在各种定量和定性实验中证明了该方法的有效性和实用性。
explainable aixaineural networksbayesian networksuncertainty
发现论文，激发创造
  • 不确定性解释性：神经网络的可信决策

    机器学习模型中的不确定性是一个关键特征，尤其在神经网络中更为重要，因其倾向于过于自信。本研究提出了一个通用的不确定性框架，将不确定性估计定位为可解释的人工智能技术，并引入分类与拒绝机制以减少错误分类，同时应用于教育数据挖掘中的神经网络案例研究，提高模型在操作研究中决策任务中的可信度与行动性。

    Mar, 2024

  • VOICE：用于量化神经网络解释不确定性的诱导式对比解释的方差

    该论文可视化和量化基于梯度的神经网络后续可视化解释的预测不确定性，指出不确定性降低了解释的可信度，提出了一种插件方法以可视化和量化任何基于梯度的解释技术剩余的预测不确定性，并通过两个数据集、四种解释技术和六种神经网络架构对提出的观察进行了支持。

    Jun, 2024

  • 可解释人工智能中的元评估问题：使用 MetaQuantus 识别可靠评估器

    本文提出了一个元评估框架 MetaQuantus，以较可靠的方式鉴别不同解释质量度量方法在特定的解释情境下的性能，包括其对噪声的鲁棒性和对随机性的反应性，并通过一系列实验展示了其有效性。该工具可用于验证和基准测试新建构的度量衡，从而为建立可靠的方法提供清晰的、理论上的指导，以促进 Explainable AI 领域中的标准化和可重复性。

    Feb, 2023

  • 神经网络中基于梯度的解释的不确定性量化

    本文提出一个流程，通过结合不确定性估计方法和解释方法来确定神经网络解释的不确定性，使用该流程对 CIFAR-10、FER + 和加利福尼亚房屋数据集生成解释分布，并通过计算这些分布的变异系数来评估解释的置信度，结果表明使用引导反向传播生成的解释具有较低的不确定性，并计算修改后的像素插入 / 删除指标来评估生成解释的质量。

    Mar, 2024

  • Quantus: 一种可解释的 AI 工具包，用于负责任地评估神经网络解释及更多内容

    该文介绍了 Quantus – 一个基于 Python 构建的，全面的可解释性人工智能（XAI）评估工具包，用于系统地评估和比较解释方法，以提高研究透明度和可重复性。

    Feb, 2022

  • 深度学习的不确定性量化

    提供了深度学习的完整且具有统计一致性的不确定性量化，包括源自（1）新的输入数据，（2）训练和测试数据，（3）神经网络的权重向量和（4）神经网络本身的不确定性。

    May, 2024

  • 校准解释：带不确定信息和反事实分析

    本文介绍了一种基于 Venn-Abers 的新型特征重要性解释方法 Calibrated Explanations，该方法能校准底层模型、生成特征重要性解释并对概率估计和特征重要性权重进行不确定性量化。此外，该方法对模型没有偏见、规则易于理解、可生成反事实解释和不确定性量化。

    May, 2023

  • 基于可信区间预测的自解释神经网络不确定性建模

    通过设计一种新颖的不确定性建模框架，本研究旨在解决深度神经网络在解释性方面的挑战，实现分布无关的不确定性建模，并在生成的解释层中分配与最终预测分配给予的信心值间建立联系，同时在高级解释基础上产生高效和有效的预测集。理论分析和大量的实验评估证明了该不确定性框架的有效性。

    Jan, 2024

  • 自然语言处理任务中的不确定性量化

    本论文提出了新方法来研究自然语言处理（NLP）任务中表征模型和数据不确定性的好处，通过在卷积和循环神经网络模型上的实证实验，展示了明确建模不确定性不仅有利于测量输出置信水平，而且对于提升各种 NLP 任务中的模型表现也是有用的。

    Nov, 2018

  • 从黑箱深度神经网络中提取解释、证明和不确定性

    我们提出了一种新颖的贝叶斯方法，用于从深度神经网络中提取解释、证明和不确定性估计，无需重新训练，适用于任何黑盒深度神经网络，并能显著提高解释性和可靠性。

    Mar, 2024