ACLApr, 2021

评估神经语言模型的显著性方法

PDF
TL;DR本文通过对 NLP 模型的神经语言进行全面的定量评估，从两个方面评价了预测解释的质量：可信度和可信度。通过评估，我们发现，如何在给定相同模型和预测时，不同的显着性方法经常在解释上产生分歧。作者建议部署此类方法到神经语言模型的未来工作，应该在得出结果之前仔细验证其解释。
saliency methodsneural network predictionsnlp modelsplausibilityfaithfulness
发现论文，激发创造
  • 通过众包评估自然语言处理中的显著性解释

    通过众包方法，我们提出了一种新的基于人类的自然语言处理（NLP）显著性方法评估方法，对七种显著性方法在两个数据集上进行了实证评估，与现有的自动评估方法进行了对比，发现了 NLP 和计算机视觉（CV）领域在使用显著性方法时存在显著差异。

    May, 2024

  • 显著图的合理性检查

    本文对几种显著性方法进行实验和理论探索，提出用可行的方法来评估一种方法所能提供和不能提供的解释类型。实验证明，有些现有的显著性方法具有独立性，这些方法不受模型和数据生成过程的影响，因此，那些未通过所提出测试的方法，对于对数据或模型敏感的任务（ 如在数据中找到异常值，解释模型所学到的输入和输出之间的关系以及调试模型）是不适当的。与边缘检测类比，本文发现一些显著性方法无需训练数据或模型就能有效实现其功能。

    Oct, 2018

  • 易于决定、难于协定：减少显著性方法之间的分歧

    本研究探讨了神经 NLP 模型的黑匣子问题，发现排名相关性不适合于评估解释方法的一致性，提出了一个更加适合的选项 Pearson-r；通过研究 Easy-to-learn instances 的特点，我们发现增加信赖度可以提高解释方法之间的一致性。

    Nov, 2022

  • 通过显著性地图语言化构建自然语言解释

    该论文提出了一种方法将视觉化的神经网络关注热点与自然语言解释相结合，形成可读性更高的可解释性，研究表明这种方法比传统的热图可视化更易于人类理解。

    Oct, 2022

  • 自然语言处理中的模型解释的敏感性和稳定性

    该研究提出两个衡量 NLP 模型判断过程解释准确性的新标准，即灵敏度和稳定性，并引入了一种新的基于对抗性鲁棒性的解释方法，证明了其在相应标准下的优越性。还应用该方法和度量标准在依赖分析中。

    Apr, 2021

  • 显著性学习：教导模型关注重点

    本论文旨在通过提供解释训练并确保模型的解释与真实解释的一致性，教会深度学习模型以恰当的原因做出正确的预测。实验结果表明，所提出的方法比传统训练模型更加可靠和有效。

    Feb, 2019

  • 使用随机调查实验测试基于显著性的可解释性在自然语言处理中的有效性

    该研究通过一个基于随机抽样的实验，旨在检验基于显著性的事后可解释性方法在自然语言处理中的有效性，结果表明，人类往往会倾向于较少批判性地接受该类解释。

    Nov, 2022

  • 用于神经 NLP 的精细可解释性评估基准

    本文提出了一种新的基准来评估神经网络模型和显著性方法的解释能力，其中包含英文和中文标注数据以及用于评估解释能力的标记。实验结果揭示了三种模型和三种显著性方法的解释能力的优劣，希望这个基准可以促进建立值得信赖的系统的研究。

    May, 2022

  • (不) 可靠的显著性方法

    本文探讨了深度神经网络的显著性方法在解释模型预测时的可靠性问题，提出了保证输入不变性的要求，并举例说明了不满足此要求的方法可能导致错误归因。

    Nov, 2017

  • 在时间序列预测中进行深度学习可解释性基准测试

    本篇论文研究了基于 saliency 的可解释性方法在时间序列数据上的应用，提出并比较了多种 saliency 方法在不同神经网络结构上的性能，并提出多种指标进行评估，发现常规的网络结构和 saliency 方法难以可靠和精确地识别时间序列数据中特征的重要性，这主要是由于时间和特征领域的混淆所导致的，但使用文中提出的两步形式的时间 saliency rescaling 方法可以显著提高 saliency 图的质量。

    Oct, 2020