Dec, 2023

TextGenSHAP: 长文本生成中的可扩展后验解释

PDF
TL;DRTextGenSHAP 是一个高效的事后解释方法，该方法结合了 LM 特定技术，通过减少处理时间、提供局部化重要词语和句子的能力以及增强选择性片段和最终回答的准确性，显著提高了大型语言模型的性能。
large language modelsexplanationsshapley valuespost-hoc explanation methodstextgenshap
发现论文，激发创造
  • SyntaxShap: 一种文本生成的语法感知解释性方法

    为了在安全关键领域利用大型语言模型的力量，我们需要确保其预测的可解释性。本文介绍了 SyntaxShap，一种针对文本生成的局部、模型无关的可解释性方法，考虑了文本数据中的句法结构。通过扩展 Shapley 值来考虑基于解析的句法依赖关系，SyntaxShap 只考虑受依赖树约束的联盟。我们采用基于模型的评估方法，比较 SyntaxShap 及其加权形式与适用于文本生成任务的最先进的可解释性方法，包括忠实度、复杂性、连贯性以及解释与模型的语义对齐等多个度量标准。我们表明，我们的句法感知方法能够生成更忠实、连贯和可解释的预测解释，适用于自回归模型。

    Feb, 2024

  • 生成语言模型的多层解释

    我们提出了一个名为 MExGen 的通用框架，可以扩展文本分类中的扰动解释方法（如 LIME 和 SHAP）以应对生成语言模型的挑战，该框架可用于不同的归因算法，并通过标量化器将文本映射到实数处理文本输出，同时采用多层级方法处理长输入，通过从粗粒度到细粒度的方式专注于具有模型查询线性扩展的算法，并进行系统评估，结果表明我们的框架能够提供更本地准确的生成输出解释。

    Mar, 2024

  • 后验解释能够提高语言模型的性能

    AMPLIFY 框架使用后续解释的方法，自动生成自然语言解释以提供纠正信号，从而提高 Large Language Models 的预测准确率。

    May, 2023

  • 利用语义视觉先验解释视觉和语言生成模型

    使用 SHAP 为基础的框架，可以在具有语义先验的视觉背景下提取任意数量的特征，从而可生成高度有意义的视觉解释并达到比传统方法更低的计算成本及更好的语义表达能力。

    Apr, 2023

  • GNNShap: 使用 Shapley Values 实现快速精确的 GNN 解释

    本研究提出了 GNNShap 方法，通过并行化抽样、批处理加速模型预测，为边提供更自然和细粒度的图解释，克服了样本数有限、速度慢等限制，并在真实数据集上取得了较好的可信度分数和更快的解释。

    Jan, 2024

  • 模型无关 NLP 可解释性中解释的粒度

    通过对复杂的基于 BERT 的分类器使用基于段落的方法，本文改进了当前基于单词采样的黑盒 NLP 可解释性方法的局限性，大大提高了基准分类任务的解释保真度。

    Dec, 2020

  • 大型语言模型是事后解释器吗？

    利用大型语言模型和上下文学习，本研究提出了一种新的解释框架，展示了语言模型在解释其他预测模型方面的有效性，并通过实验证明了其与现有解释技术相媲美的性能，从而在可解释的人工智能领域开辟了新的研究前沿。

    Oct, 2023

  • LIME 和 SHAP 欺骗：对事后解释方法的对抗攻击

    本文提出一种新型的脚手架技术可以隐藏任何给定分类器的偏见，并演示了该技术如何可以欺骗常见的解释技术如 LIME 和 SHAP 生成无害的解释而不反映潜在的偏见。

    Nov, 2019

  • Shapley 解释网络

    本文提出使用 Shapley values 作为深度模型的潜在表示，使得 Shapley explanations 能够成为建模范式的第一等公民，从而实现了层次化解释、模型在训练期间的解释以及快速解释计算。作者证明了 ShapNets 确保 Shapley 值的缺失和准确性，并通过在合成和真实数据集上的演示展示了它的有效性。

    Apr, 2021

  • 大型语言模型的可解释性概述

    对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

    Sep, 2023