Sep, 2022

自然语言处理中的模型解释研究综述

PDF
TL;DR本综述通过对忠实度的镜头，回顾了超过 110 种自然语言处理中的模型解释方法。我们考虑了忠实度的定义和评估，以及它对可解释性的重要性，并将现有方法分为五类。最后，我们总结了它们的共同优点和未解决的挑战，并反思了未来的研究方向。
neural natural language processingmodel explainabilityfaithful explanationmodel-internal structuresbackpropagation-based methods
发现论文，激发创造
  • 自然语言解释的忠实度测试

    本文探讨评估自然语言解释（NLEs）忠实度的挑战性问题，提出了两个测试：第一个是插入导致反事实预测的原因的反事实输入编辑器，第二个是从生成的 NLEs 中说明的原因中重建输入并检查它们导致相同预测的频率。我们的测试可以评估新兴的 NLE 模型，是开发忠实 NLE 的基本工具。

    May, 2023

  • 基准测试忠实度：关于在视觉语言任务中实现准确的自然语言解释

    本文探讨了目前逐渐普及应用的神经模型的透明度和可理解性的需求，提出了三种可信度测量方法，并在对不同模型架构的比较中使用 VQA-X 和 e-SNLI-VE 数据集进行了评估。

    Apr, 2023

  • 忠诚与可信性是否相冲突？在自然语言处理任务中的可解释人工智能的经验研究

    通过对情感分析、意图检测和主题标记等三个自然语言处理任务中选定的易解释算法与专家解释方法的综合定量比较，我们的研究表明，传统的基于扰动的方法 Shapley value 和 LIME 可以同时实现更高的准确度和用户可访问性，与模型的推理过程、领域专家一致的解释方式。这一发现提示我们在优化解释算法时应当以双重目标为导向，以实现准确度和用户可理解性的双重提高。

    Mar, 2024

  • 忠实性与可信度：大型语言模型解释的（不）可靠性

    大型语言模型的自解释性及其在高风险决策中的忠诚度与可信度之间的矛盾。

    Feb, 2024

  • 朝着忠实可解释的自然语言处理系统迈进：我们应该如何定义和评估忠实性？

    本文探讨了深度学习基础下的 NLP 模型识别问题，并呼吁更明确地区分不同标准，其中聚焦于 “忠实性” 标准。通过调查已有研究文献，将现有方法分为三种假设，并提供了具体指南来评估解释方法。最后，提出当前的 “忠实性” 定义是不真实的二元概念，呼吁使用更优选的渐进性概念。

    Apr, 2020

  • 构建学习的忠实理性化

    提出了一种名为 FRESH 的简化模型解释方法，通过使用任意的特征重要性分数来导出二进制标签以训练提取器，再用提取器提供的片段训练独立分类器模块，从而构成可信解释，具有超越端到端方法的预测性能优势并更容易实现。

    Apr, 2020

  • 大型语言模型作为忠实的解释器

    介绍了一种提高大型语言模型的自然语言解释质量的生成解释框架 xLLM，该框架通过评估器和迭代优化过程来最大化生成解释的忠实度分数，实验证明 xLLM 可以显著提高生成解释的忠实度。

    Feb, 2024

  • 关于自然语言处理样本解释方法的效率、忠实度和语义评估

    本论文提出一种在自然语言处理中，以任意文本序列作为解释单元以提高解释的可解释性、效率和忠实度的方法，该方法实现了一种带模型的忠实度保证的 Hessian-free 算法，并且提出了一种基于语义的评估度量，该度量可以更好地与人类对解释的判断相匹配。多个实际数据集的实证结果表明，相对于 Influence Function 或 TracIn 等解释技术，所提出的方法具有优越的性能。

    Jun, 2021

  • 好看但缺乏忠诚：通过趋势测试理解局部解释方法

    通过对传统的可解释性测试进行评估，发现在复杂数据方面存在随机优势问题。为了解决这个问题，我们提出了三种基于趋势的可信度测试，并通过实证研究证明新的趋势测试可以更好地评估图像、自然语言和安全任务的可信度。我们实施了评估系统并评估了十种常用的解释方法，从中获得了前所未有的发现，启发了未来的研究。同时，可信度测试也极大地提高了下游任务的效果。例如，配备可靠的解释方法的模型调试在检测和修正准确性和安全性问题方面表现出更好的性能。

    Sep, 2023

  • 自然语言生成中的忠实度：分析、评估和优化方法的系统调查

    本文系统综述了自然语言生成（NLG）的忠实度问题和相关评估方法和优化方法，并将不同任务的评估和优化方法组织在一个统一的分类中，以促进不同任务之间的比较和学习。

    Mar, 2022