可验证特征归因：后解释性与内在可解释性之间的桥梁

Jul, 2023

可验证特征归因：后解释性与内在可解释性之间的桥梁

Verifiable Feature Attributions: A Bridge between Post Hoc Explainability and Inherent Interpretability

Usha Bhalla, Suraj Srinivas, Himabindu Lakkaraju

TL;DR通过 VerT 方法，将黑盒模型转化为生成可信且可验证特征归因的模型，从而弥合了先前研究中的解释策略差距。

Abstract

With the increased deployment of machine learning models in various real-world applications, researchers and practitioners alike have emphasized the need for explanations of model behaviour. To this end, two broa

machine learning models explanations post hoc explanation methods interpretable models verifiability tuning

发现论文，激发创造

通过优化特征归因的聚合来提供可证明更好的解释

该论文旨在通过将不同方法或其变种的多个解释结合起来，系统地提高特征归因的质量，从而改进理解和验证复杂的机器学习模型的预测，该组合策略在多个模型架构和流行的特征归因技术中始终优于个别方法和现有基准。

Jun, 2024

如何验证事后解释方法？你能信赖解释吗？

为了让人工智能系统得到广泛的公众认可，我们必须开发能够解释黑匣子模型（如神经网络）决策的方法。

Oct, 2019

深度学习架构中特征归因的协调：增强可解释性和一致性

本研究旨在检验特征归因法在不同深度学习架构模型间的泛化能力，以及探索归一化的特征解释方法在提高机器学习应用的可解释性和信任度方面的潜力。

Jul, 2023

神经网络特征评估中的不一致问题探究

近年来，神经网络展示出了从原始数据中识别复杂模式和关系的卓越能力。然而，理解这些黑盒模型的内部机制仍具挑战性，但对于高风险决策至关重要。我们的研究通过调查解释的基本和分布行为来解决这种困惑。此外，通过全面的模拟研究，我们展示了常见缩放和编码技术对解释质量的影响，评估它们在不同效应大小中的功效，并展示了基于排序的评估指标的不一致性的来源。

Apr, 2024

概率概念解释器：用于视觉基础模型的可信概念解释

这篇论文提出了 Vision transformers（ViTs）在解释方法方面的需求，通过引入概率概念解释器（PACE）来提供可信的事后概念解释，并通过实验表明 PACE 在定义的需求方面优于现有方法。

Jun, 2024

可靠的事后解释：解释性中的不确定性建模

本文提出了基于贝叶斯框架的黑盒模型解释方法，能够生成可靠的局部解释和其关联的不确定性，并且具有稳定性和高度一致性，可以快速地解决几个重要问题。通过实证研究，证明了该方法的有效性，并提高了解释的可靠性。

Aug, 2020

统一特征归属和反事实说明：不同的手段达成了相同的目的

通过真实因果关系框架提供一种将特征归因和反事实解释统一的解释方法，通过在 Adult-Income，LendingClub 和 German-Credit 三个基准数据集上的实验，发现 Feature attribution 方法和 counterfactual explanation 方法并不总是一致的，也表明了他们之间的互补性。

Nov, 2020

利用方差特征归因识别预测不确定性的驱动因素

解释性和不确定性量化是可信赖人工智能的两个基石，本研究提出了一种简单可扩展的方案来解释预测的不确定性，通过使神经网络配备带有高斯输出分布的方差输出神经元来预测方差，然后利用现成的解释器解释模型的不确定性估计。

Dec, 2023

解释性之路的通行需面对偏见：衡量解释的公平性

本文通过在金融、医疗保健、大学招生和美国司法系统等四个领域的实际数据中审计了不同保护子组的解释质量，发现不同子组的近似质量显着不同，而解释深度学习模型的近似质量差异存在着公平性挑战，需要进一步解决。

May, 2022

Attri-Net: 一种用于多标签分类的全局和局部本质可解释模型，采用类特定反事实

Attri-Net 是一种用于多标签分类的具有内在可解释性的模型，它能提供局部和全局解释，通过生成类别特定的归因图，并基于归因图通过逻辑回归分类器进行分类。该模型在保持分类性能的同时，能够生成与临床知识一致的高质量解释。

Jun, 2024