SyntaxShap: 一种文本生成的语法感知解释性方法

ACLFeb, 2024

SyntaxShap: 一种文本生成的语法感知解释性方法

SyntaxShap: Syntax-aware Explainability Method for Text Generation

Kenza Amara, Rita Sevastjanova, Mennatallah El-Assady

TL;DR为了在安全关键领域利用大型语言模型的力量，我们需要确保其预测的可解释性。本文介绍了 SyntaxShap，一种针对文本生成的局部、模型无关的可解释性方法，考虑了文本数据中的句法结构。通过扩展 Shapley 值来考虑基于解析的句法依赖关系，SyntaxShap 只考虑受依赖树约束的联盟。我们采用基于模型的评估方法，比较 SyntaxShap 及其加权形式与适用于文本生成任务的最先进的可解释性方法，包括忠实度、复杂性、连贯性以及解释与模型的语义对齐等多个度量标准。我们表明，我们的句法感知方法能够生成更忠实、连贯和可解释的预测解释，适用于自回归模型。

Abstract

To harness the power of large language models in safety-critical domains we need to ensure the explainability of their predictions. However, despite the significant attention to model interpretability, there rema

large language models explainability sequence-to-sequence tasks syntaxshap text generation

发现论文，激发创造

TextGenSHAP: 长文本生成中的可扩展后验解释

TextGenSHAP 是一个高效的事后解释方法，该方法结合了 LM 特定技术，通过减少处理时间、提供局部化重要词语和句子的能力以及增强选择性片段和最终回答的准确性，显著提高了大型语言模型的性能。

Dec, 2023

利用语义视觉先验解释视觉和语言生成模型

使用 SHAP 为基础的框架，可以在具有语义先验的视觉背景下提取任意数量的特征，从而可生成高度有意义的视觉解释并达到比传统方法更低的计算成本及更好的语义表达能力。

Apr, 2023

基于模式的黑盒图分类器解释方法：GRAPHSHAP

本文介绍了一种 Shapley-based 方法 GRAPHSHAP，它可以对黑盒图分类器提供基于模体的解释；并在具有自闭症谱系障碍和对照组的真实大脑网络数据集上进行了测试，证明该方法可以有效地解释黑盒分类器所提供的分类结果。

Feb, 2022

SHAP 对 Alert 处理的人类基础评估

在本研究中，我们对一种名为 SHAP 的解释方法进行人本评估，该方法已在可解释人工智能和相关社区中广受欢迎。我们研究了这种局部规范无关解释方法是否对实际的人类领域专家有用，以评估分类器产生的正面预测的正确性。结果表明，SHAP 解释确实影响决策过程，尽管该方法得分的置信度仍然是主要的证据来源。但在我们的实验中，当提示信息可用时，与不提供提示信息相比，在警报处理性能方面并没有明显差异。

Jul, 2019

模型无关 NLP 可解释性中解释的粒度

通过对复杂的基于 BERT 的分类器使用基于段落的方法，本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性，大大提高了基准分类任务的解释保真度。

Dec, 2020

神经文本生成的显式句法指导

我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

Jun, 2023

生成语言模型的多层解释

我们提出了一个名为 MExGen 的通用框架，可以扩展文本分类中的扰动解释方法（如 LIME 和 SHAP）以应对生成语言模型的挑战，该框架可用于不同的归因算法，并通过标量化器将文本映射到实数处理文本输出，同时采用多层级方法处理长输入，通过从粗粒度到细粒度的方式专注于具有模型查询线性扩展的算法，并进行系统评估，结果表明我们的框架能够提供更本地准确的生成输出解释。

Mar, 2024

解释模型预测的统一方法

研究为什么一个模型做出某个特定的预测与预测准确性一样重要，然而对于像集成或深度学习模型这样的复杂模型，即使是专家也难以解释其高精度，因此需要各种方法来帮助解释预测，其中一个新方法，SHAP（Shapley Additive Explanations），通过为每个特征指定一个重要性值来解释预测。

May, 2017

机器学习模型的本地可解释模型无关 Shap 解释

提出了一种称为 LIMASE 的局部可解释模型无关 Shap 说明法，该方法使用 Shapley 值来解释任何模型的预测，提供局部和全局可解释的解释，解决子模块优化问题，为地区解释带来见解，并在与内核解释器相比计算更快。

Oct, 2022

语法驱动的迭代扩展语言模型用于可控文本生成

通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

Apr, 2020