神经文本分类器的鲁棒可解释性缺失

ACLJun, 2021

神经文本分类器的鲁棒可解释性缺失

On the Lack of Robust Interpretability of Neural Text Classifiers

Muhammad Bilal Zafar, Michele Donini, Dylan Slack, Cédric Archambeau, Sanjiv Das...

TL;DR本研究通过两种随机化测试，评估预训练 Transformer 编码器的神经文本分类器的可解释性解释的鲁棒性，并发现出乎意料的偏差，从而对实践者从解释中获得的深入的见解提出疑问。

Abstract

With the ever-increasing complexity of neural language models, practitioners have turned to methods for understanding the predictions of these models. One of the most well-adopted approaches for model interpretability

neural language models model interpretability transformer encoders robustness of interpretations randomization tests

发现论文，激发创造

深度神经网络可解释性方法评估基准

本文提出了一种衡量深度神经网络特征重要性估计的近似准确性的经验方法，研究发现，在许多流行的可解释性方法中，只有某些集成方法，如 VarGrad 和 SmoothGrad-Squared，才能胜任随机指定特征重要性的任务。

Jun, 2018

对文本数据进行特征重要性和规则提取的可解释性比较

本文研究机器学习算法中普遍存在的可解释性方法，通过不同的解释方法应用到简单的模型中，发现不同之处并提出一种新的方法来比较不同解释间的差异。

Jul, 2022

自然语言处理中的模型解释的敏感性和稳定性

该研究提出两个衡量 NLP 模型判断过程解释准确性的新标准，即灵敏度和稳定性，并引入了一种新的基于对抗性鲁棒性的解释方法，证明了其在相应标准下的优越性。还应用该方法和度量标准在依赖分析中。

Apr, 2021

神经网络解释易受伤

本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。

Oct, 2017

使用高影响概念解释语言模型的预测

本文提出了一个完整的框架，将基于概念的解释性方法扩展到 NLP 领域，提出了一种后期解释性方法，从预训练模型的隐藏层激活中提取具有预测高水平特征（概念），优化具有高影响力的特征的存在，设立了多种评估指标。在真实和合成任务上的广泛实验表明，与基线相比，我们的方法在预测影响、可用性和忠实度方面都取得了卓越的结果。

May, 2023

使用二次训练数据对学习排序模型进行后证明可能性解释

本文研究了如何在后期操作中用可解释的特征空间解释排名模型，并使用来自排名器的标签来训练树状模型，以提供解释，研究表明在某些情况下，可以学习到忠实且可解释的排名器。

Jun, 2018

探索集成方法提高文本分类器模型鲁棒性

本文通过分析一系列偏置特征并证明没有单一的模型适用于所有情况来改善模型的鲁棒性，进一步表明通过选择合适的偏置模型，我们可以获得比更复杂的模型设计基准更好的鲁棒性结果。

Oct, 2022

稳健性分析解释的评估和方法

本文提出一种基于鲁棒性分析的特征解释新的评估标准，通过针对我们提出的评估标准进行优化，获得了松散且必要的解释和可以将当前预测移动到目标类的特征集。我们通过多领域实验和用户研究验证了我们评估标准和解释的有用性。

May, 2020

解读神经自然语言处理模型对文本扰动的鲁棒性

研究现代自然语言处理模型中对于不同的输入扰动如何表现更差，进而发现一个模型对于未知文本扰动的鲁棒性较低的原因是模型未很好地学习到如何识别这些扰动。

Oct, 2021

神经文本分类的分层解释

本文提出了一种新的 Hierarchical INTerpretable 神经文本分类器 Hint，它可以自动生成按标签关联的话题的模型预测解释，实验结果表明 Hint 方法在文本分类方面不仅与现有的最先进的文本分类器相当，而且生成的解释比其他可解释的神经文本分类器更符合模型预测，并且更易于被人类理解。

Feb, 2022