衡量可解释性方法质量的解释质量评分

May, 2022

衡量可解释性方法质量的解释质量评分

Interpretation Quality Score for Measuring the Quality of interpretability methods

Yuansheng Xie, Soroush Vosoughi, Saeed Hassanpour

TL;DR该研究提出了一种新的用于评估解释可能性方法生成的解释质量的度量标准，并利用六种解释可能性方法在三个 NLP 任务上计算和展示了度量标准的结果。

Abstract

machine learning (ML) models have been applied to a wide range of natural language processing (NLP) tasks in recent years. In addition to making accurate decisions, the necessity of understanding how models make their decisions has become apparent in many applications. To that end, man

machine learning natural language processing interpretability methods explanation quality metric

发现论文，激发创造

量化机器学习系统的可解释性和可信度

本文提出了一种量化解释性方法质量的量化度量，并在众包实验中通过信息传输速率得到了实证证据，从而说明解释性方法的价值。同时，还提出了一种信任度量，以检测人类决策是否过度偏向机器学习预测。

Jan, 2019

有关模型可解释性的定量方面

本文针对机器学习中可解释性的问题进行了研究，提出了一组度量用于评估不同的可解释性方法，进而解决了目前仅仅依靠定性分析和用户研究来评估不同解释性方法的缺陷。在实验中，通过对不同的基准任务进行验证，并展示如何使用这些度量指导实践者选择最合适的方法，进一步阐述了基准任务、特征提取器和解释性方法之间的概念关系。

Jul, 2020

可解释性的代价

本文提出一个基于数学框架的方法，构建以逐步可解释的模型。我们演示了应用于实际和合成数据集的实用算法，并定量化了 “可解释性” 的 “价格” 与预测准确性的权衡。

Jul, 2019

可解释机器学习的严格科学探索

该研究论文旨在对可解释的机器学习进行定义和分类，并提出了一种更严谨的可解释机器学习科学评估方法的问题。

Feb, 2017

面向自然语言生成的可解释评估度量

本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

Mar, 2022

透明机器学习的质量指标与是否有人参与无关

使用心理物理学技术研究了可解释计算机视觉算法的质量，发现经典的心理物理学方法可以用于机器学习应用程序中，而无需人为干预，使用传统的自动化质量指标计算出的质量指标不能提供一致的解释方法排名，这些发现强调了只有在人机交互的自然环境中评估解释能力才能获得真实的解释能力评估。

Jul, 2021

解释型自然语言处理的本地解释概览

研究探讨了提高深度神经网络在自然语言处理（NLP）任务中的可解释性的各种方法，包括机器翻译和情感分析，并对术语 “可解释性” 及其各个方面进行了全面讨论。这项工作列举了与局部解释相关的各种方法，并将其分为三类：1）通过相关的输入特征解释模型的预测；2）通过自然语言解释进行解释；3）探查模型和单词表示的隐藏状态。

Mar, 2021

机器学习模型本地可解释性的真实元解释

本文探讨了如何提高复杂机器学习系统的可解释性，通过介绍采用基于诚实度的指标的局部元解释技术，给出了一个可行的解决方案。

Dec, 2022

自然语言处理的可解释性评估及性能和可解释性之间的算法分析

探讨了在医疗保健领域中机器学习的应用。通过在 MIMIC-III 临床笔记中预测死亡率的任务中，我们展示了各种可完全解释的方法和模型不可知后续属性的可视化技术，同时提供了评估解释质量的通用方法。

Jul, 2021

机器学习预测的局部和全局可解释度度量

本文提供了一种新颖的量化指标框架，用于解释分类器和回归模型的预测结果，旨在提高人工智能系统的透明度和可信度。应用公开数据集，展示了这些指标如何更全面地理解模型预测，并在决策者和利益相关者之间促进更好的沟通，从而增加人工智能系统的整体透明度和问责度。

Feb, 2023