探索从业者对训练数据归因解释的见解

Oct, 2023

探索从业者对训练数据归因解释的见解

Exploring Practitioner Perspectives On Training Data Attribution Explanations

Elisa Nguyen, Evgenii Kortukov, Jean Song, Seong Joon Oh

TL;DR解释性人工智能旨在向人类提供对不透明模型推理的深入理解，是一个跨学科的领域。本文通过对 10 名实践者的访谈，确认了在实践中训练数据质量通常是高性能模型的最重要因素，并且模型开发者主要依靠自己的经验来策划数据。最终用户期望解释能够增强他们与模型的交互，并且并不一定将训练数据作为解释的首要选择。在参与者中，发现训练数据归因解释并不为人熟知，因此也未被使用。我们敦促研究社区从人机协作的角度关注训练数据归因技术的实用性，并扩大对其评估以反映实践中的常见用例。

Abstract

explainable ai (XAI) aims to provide insight into opaque model reasoning to humans and as such is an interdisciplinary field by nature. In this paper, we interviewed 10 practitioners to understand the possible usability of training data attribution (TDA) explanations and to explore the

explainable ai training data attribution model performance human-machine collaboration tda techniques

发现论文，激发创造

走向可解释人工智能（XAI）：数据挖掘视角

通过数据挖掘方法和应用的角度，对深度神经网络进行可解释人工智能（XAI）的综合、数据中心的研究，并将现有工作分为三类：对深层模型的解释、对训练数据的影响以及领域知识的洞察。

Jan, 2024

挑战功能归因解释中的常见可解释性假设

通过人类实验，我们发现属性解释法在某些情况下会导致决策者做出更糟糕的决策，这一结果挑战了应用这些方法的普遍好处的假定，在可解释的 AI 研究中人类评价的重要性下应该得到重视。

Dec, 2020

T-Explainer: 基於梯度的模型无关解释性框架

可解释人工智能（Explainable Artificial Intelligence）通过提供准确、一致且稳定的解释，解决机器学习中黑盒模型的透明度问题，其中基于泰勒展开的 T-Explainer 成为了一种有效的特征归因方法。

Apr, 2024

可解释化人工智能并未提供最终用户所要求的解释

阐释可解释的人工智能（XAI）技术应用于复杂模型的机器学习系统中，以增强其透明度与验证，从而取得用户的信任。然而，XAI 在部署上存在局限性，因此透明度和严格验证更适合在获取人工智能系统信任时使用。

Jan, 2023

解释解释：机器学习的可解释性概述

有关解释人工智能的最佳实践和挑战的调查表明，现有的解释方法尤其是对于深度神经网络而言不足以提供算法的公正性、数据偏见和性能。

May, 2018

用于评估 XAI 方法的数据代表真实解释

本文介绍了使用规范方程代表解释的方法，以解决可解释的人工智能和可解释的机器学习方法面临的挑战，并提出使用合成数据来评估模型准确性的方法。

Nov, 2020

关于调和可用性和实用性的可解释人工智能方法

本论文以自动驾驶汽车为研究对象，研究了四种常见的可解释人工智能方法，即决策树、文本、程序和图示。研究表明，参与者倾向于使用语言解释，但通过决策树解释更能客观地理解汽车的决策过程，并且结果显示，计算机科学经验和观察汽车成功或失败的情况可以影响解释的感知和有用性，因此本研究提出，设计 XAI 系统必须考虑用户的特定需求和情境因素。

Jan, 2023

度量效用、赢得信任：XAI 研究员的实用建议

机器学习模型解释学（即可解释性 AI）的研究与深度人工神经网络同步呈指数增长，但传统的信任和解释却太狭隘，导致研究社区被误导。该研究提出了一种实用的解决方案，建议研究人员关注机器学习解释的实用性而非信任，提出五种广泛的用例，并为每种情况描述可依靠客观经验测量和可证伪假设的伪实验。该实验严谨的处理方法将对 XAI 领域的科学知识的进一步贡献是必要的。

Sep, 2020

透过终端用户启发式设计超越 XAI 算法边界

本研究介绍了四个新的可解释人工智能技术问题，这些问题围绕设计和评估算法，并呼吁建立基于人类需求的可解释人工智能技术开发研究范式，以保证人工智能在关键任务中的负责任使用。

Aug, 2022

视觉解释的可解释人工智能基准

深度学习算法的崛起在计算机视觉任务中取得了重大进展，但它们的 “黑匣子” 性质引发了对可解释性的关注。可解释人工智能（XAI）作为一个重要的研究领域出现，旨在打开这个 “黑匣子”，并揭示人工智能模型的决策过程。视觉解释作为可解释人工智能的一个子集，通过突出显示输入图像中的重要区域，为处理视觉数据的人工智能模型的决策过程提供直观的见解。我们提出了一个 XAI 基准，其中包括来自不同主题的数据集集合，为图像提供了类别标签和相应的解释注释。我们引入了一个全面的视觉解释流程，在这个流程中整合了数据加载、预处理、实验设置和模型评估过程。此结构使研究人员能够公平比较各种视觉解释技术。此外，我们对视觉解释的超过 10 种评估方法进行综合评述，以帮助研究人员有效利用我们的数据集合。为了进一步评估现有的视觉解释方法的性能，我们使用各种以模型为中心和以真实标注为中心的评估指标在选定的数据集上进行实验。我们希望这个基准可以推动视觉解释模型的进步。这个 XAI 数据集合和用于评估的易于使用的代码公开可访问。

Oct, 2023