Aug, 2023

Goodhart 定律在 NLP 的解释基准中适用

PDF
TL;DR对于基于显著性的解释方法的研究，存在关于其目的、有效性和相互抵触性的疑虑。本文针对自然语言处理进行了关于评估指标的批判性研究，对两套指标进行了评估，并展示了目前的指标能否准确引导可解释性研究的能力存在疑问，强调有必要对这些指标所要捕捉的内容进行更广泛的重新评估。
saliency-based explanationsevaluation metricsnatural language processingcomprehensivenesssufficiency
发现论文，激发创造
  • 面向自然语言生成的可解释评估度量

    本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

    Mar, 2022

  • 定量评估显著性方法：实验研究

    本文基于对解释人工智能（XAI）的准确定义和公正衡量标准缺失的讨论，提出了一种广泛的实验研究，重点关注解释方法的忠实度、本地化、假阳性、敏感度检查和稳定性。实验结果表明，在当前所有方法中，梯度加权类激活映射（Grad-CAM）和随机输入抽样解释（RISE）在大多数指标上表现良好。另外，本文还提出了一种筛选指标的方法，以诊断模型分类基础，并探讨了当前指标所忽略的测量因素。

    Dec, 2020

  • ERASER: 用于评估合理化 NLP 模型的基准

    该论文提出了 ERASER 基准测试以推进 NLP 中可解释模型的研究，包括多个数据集和任务，并提出了几个指标以衡量模型提供的 rationales 与人类 rationales 的一致性以及提供的 rationales 对相应预测的影响程度。

    Nov, 2019

  • 情感分析解释的可信度和真实度评估

    本文介绍了一种评估模型可解释性的方法，特别是在 NLP 领域中，提出了不同的评估指标和技巧来评估 SA 模型的可解释性。该方法被证明是可行的，同时发现了各种评估方法之间的差异，为设计更易于解释的 NLP 模型和评估其相对优势和鲁棒性提供了基础。

    Oct, 2022

  • 自然语言解释评估的自动度量研究

    研究透明度如何为机器人和人工智能提供自然语言解释，并评估自然语言生成方法的相关度量来生成这些解释，发现基于嵌入的自动自然语言生成评估方法具有更高的相关性，这对于可解释的人工智能和透明的机器人和自主系统具有重要意义。

    Mar, 2021

  • 机器翻译可解释评估指标的研究

    本概念论文介绍了可解释机器翻译指标的关键属性和目标，并提供了最新的基于生成模型的可解释性指标技术综合。同时，我们展望了下一代技术包括自然语言解释，并希望本文能够帮助促进和指导未来可解释评估指标的研究，同时有助于更好、更透明的机器翻译系统。

    Jun, 2023

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • 基准测试忠实度：关于在视觉语言任务中实现准确的自然语言解释

    本文探讨了目前逐渐普及应用的神经模型的透明度和可理解性的需求，提出了三种可信度测量方法，并在对不同模型架构的比较中使用 VQA-X 和 e-SNLI-VE 数据集进行了评估。

    Apr, 2023

  • 通过将语言要素分解来解释基于 BERT 的评估度量的全球可解释性

    本文研究了基于 BERT 的评估指标在文本生成上的效果。通过使用一种简单的回归全局可解释性技术，将指标分解成了语言要素，包括语义、句法、形态和词汇重叠。研究表明，不同的评估指标在一定程度上对所有方面都有所捕捉，但它们都非常敏感于词汇重叠，正如 BLEU 和 ROUGE 所做的那样。这揭示了这些新提出的指标的限制，在敌对测试场景下也得到了证实。

    Oct, 2021

  • 用于神经 NLP 的精细可解释性评估基准

    本文提出了一种新的基准来评估神经网络模型和显著性方法的解释能力，其中包含英文和中文标注数据以及用于评估解释能力的标记。实验结果揭示了三种模型和三种显著性方法的解释能力的优劣，希望这个基准可以促进建立值得信赖的系统的研究。

    May, 2022