从黑箱深度神经网络中提取解释、证明和不确定性
该篇论文综述了深度神经网络在机器学习中的应用,针对一些需要保证安全性的决策(如控制系统和医疗应用),介绍了当前解释性人工智能(XAI)领域的研究,探究和解释 DNNs 内部和整体行为的方法。
Feb, 2021
本研究提出了一种理论框架和三种不同技术来提高对解释的稳健性。通过训练方法,激活函数的平滑以及网络 Hessian 的最小化,实现了对提高模型的抗干扰能力。实验结果证实了这些方法的有效性。
Dec, 2020
通过设计一种新颖的不确定性建模框架,本研究旨在解决深度神经网络在解释性方面的挑战,实现分布无关的不确定性建模,并在生成的解释层中分配与最终预测分配给予的信心值间建立联系,同时在高级解释基础上产生高效和有效的预测集。理论分析和大量的实验评估证明了该不确定性框架的有效性。
Jan, 2024
该文提出了一种名为 “可解释的几何深度网络” 的端到端学习方法,用于在高维数据中实现精细的可解释性,例如神经成像和神经科学研究。该方法采用学习解释性因素来增强鉴别性表示提取,以实现可解释的预测和分类结果。
Jan, 2023
提出了一种新的框架,它可以将任意的深度学习神经网络解释方法转换为基于贝叶斯神经网络的解释方法,并内置建模不确定性的方式来量化解释的不确定性,从而确立与模型解释相关的不确定性,并在各种定量和定性实验中证明了该方法的有效性和实用性。
Jun, 2020
通过在类概率上使用狄利克雷分布对主观逻辑进行建模并使用确定性神经网络从数据学习收集导致预测的证据的功能,我们提出一种与贝叶斯神经网络正交的方法,该方法可以直接推断出预测的不确定性。我们的方法在检测超出分布的查询和对抗性扰动方面取得了空前的成功。
Jun, 2018
本研究提出了一种替代贝叶斯 NN 的简单实现方法,其能够产生高质量的预测不确定性估计,并在分类和回归数据集上进行了实验以证明这一点。此外,研究还评估了在已知和未知数据分布下的预测不确定性,并证明该方法能够在超出分布的样本上表现出更高的不确定性,同时在 ImageNet 上证明了该方法的可扩展性。
Dec, 2016
本文提出一个流程,通过结合不确定性估计方法和解释方法来确定神经网络解释的不确定性,使用该流程对 CIFAR-10、FER + 和加利福尼亚房屋数据集生成解释分布,并通过计算这些分布的变异系数来评估解释的置信度,结果表明使用引导反向传播生成的解释具有较低的不确定性,并计算修改后的像素插入 / 删除指标来评估生成解释的质量。
Mar, 2024
本文探讨了一些适用于 CNN 文本分类的模型无关和模型特定解释方法,并进行了三次人类评估来揭示这些方法揭示模型行为、证明模型预测和帮助人类调查不确定预测的不同效果。结果表明,这些方法具有不同的性质,并且可以为每个目的提供帮助。
Aug, 2019