Nov, 2021

评估文本分类输入显著性方法的忠实度协议：您能发现这些捷径吗？

PDF
TL;DR本文提出了一种研究模型特征重要性的方法，并对四种标准输入明显性方法在文本分类和模型调试场景下的效果进行了深入分析，并建议针对每种新任务 - 模型组合采用该方法以找到找到最佳的快捷方式识别方法。
feature attributioninput salience methodsfaithfulness evaluationtext classificationmodel debugging
发现论文，激发创造
  • 特征归因方法是否正确归因特征？

    本研究探讨了利用特征归因方法进行机器学习的解释，提出通过修改数据集来产生真实归因的方法，并对三种常见的归因方法：显著性图、原理和注意力进行评估，发现这些方法在野外数据集中的正确性和可靠性值得怀疑，建议在部署前使用基准来测试新的归因方法。

    Apr, 2021

  • 通过递归屏蔽所谓重要的令牌并重新训练来评估 NLP 中重要性度量的忠实度

    本文提出了一种新的忠实度度量标准，即递归 ROAR，并对四种不同的重要性评估方法在八个数据集上进行了评估，发现其忠实度既与模型相关，也与任务相关。

    Oct, 2021

  • 对自然语言处理中可解释性度量的质疑：对谁忠诚？

    该研究论文探讨了模型可解释性的常见方法，并指出了当前的可信度度量指标的局限性以及合理利用它们的关键考虑因素。

    Aug, 2023

  • 通过忠实度违规测试重新思考注意力模型可解释性

    本文发现注意力解释的一个关键限制：弱点在于识别特征影响的极性。为此，作者提出了一个行动诊断方法来量化解释权重与影响极性之间的一致性，并通过大量实验表明，大多数测试的解释方法都意外受到忠诚度违反问题的阻碍，特别是原始的关注力。

    Jan, 2022

  • 易于决定、难于协定：减少显著性方法之间的分歧

    本研究探讨了神经 NLP 模型的黑匣子问题，发现排名相关性不适合于评估解释方法的一致性，提出了一个更加适合的选项 Pearson-r；通过研究 Easy-to-learn instances 的特点，我们发现增加信赖度可以提高解释方法之间的一致性。

    Nov, 2022

  • 在时间序列预测中进行深度学习可解释性基准测试

    本篇论文研究了基于 saliency 的可解释性方法在时间序列数据上的应用，提出并比较了多种 saliency 方法在不同神经网络结构上的性能，并提出多种指标进行评估，发现常规的网络结构和 saliency 方法难以可靠和精确地识别时间序列数据中特征的重要性，这主要是由于时间和特征领域的混淆所导致的，但使用文中提出的两步形式的时间 saliency rescaling 方法可以显著提高 saliency 图的质量。

    Oct, 2020

  • 融入归因重要性以提高忠实度度量

    本文提出了一个简单而有效的软擦除标准，用于计算特征归因方法的充分性和全面性，实验结果表明，相较于硬擦除标准，该方法更好地反映了预测的重要部分，适用于自然语言处理中的各种任务与不同特征归因方法。

    May, 2023

  • 评估神经语言模型的显著性方法

    本文通过对 NLP 模型的神经语言进行全面的定量评估，从两个方面评价了预测解释的质量：可信度和可信度。通过评估，我们发现，如何在给定相同模型和预测时，不同的显着性方法经常在解释上产生分歧。作者建议部署此类方法到神经语言模型的未来工作，应该在得出结果之前仔细验证其解释。

    Apr, 2021

  • AttributionLab：在可控环境下的特征归因的可信度

    设计 AttributionLab 环境用于测试特征归因方法的可靠性，并提供了一个控制实验室，用于研究特征归因方法、识别问题并提出潜在改进。

    Oct, 2023

  • 使用相对特征重要性对归因方法进行基准测试

    该研究提出了一个基准测试框架，用于定量评估不同的特征归因方法的效果，并指出某些方法更容易产生错误的特征解释，该框架包括精心设计的数据集、已知相对特征重要性的模型和三个互补的度量标准。

    Jul, 2019