Oct, 2021

通过递归屏蔽所谓重要的令牌并重新训练来评估 NLP 中重要性度量的忠实度

PDF
TL;DR本文提出了一种新的忠实度度量标准，即递归 ROAR，并对四种不同的重要性评估方法在八个数据集上进行了评估，发现其忠实度既与模型相关，也与任务相关。
nlp modelsfaithfulness metricimportance measureslstm-attention modelsroberta models
发现论文，激发创造
  • 可衡量忠诚度的遮蔽语言模型

    提议基于掩码方法的一种内在的可靠度可衡量模型，该模型能够解决现有方法受限、计算昂贵且基于代理模型的问题，通过在设计上使掩码令牌成为数据分布内的方式，从而能够更有效地解释和说明 NLP 模型。

    Oct, 2023

  • 对自然语言处理中可解释性度量的质疑：对谁忠诚？

    该研究论文探讨了模型可解释性的常见方法，并指出了当前的可信度度量指标的局限性以及合理利用它们的关键考虑因素。

    Aug, 2023

  • 融入归因重要性以提高忠实度度量

    本文提出了一个简单而有效的软擦除标准，用于计算特征归因方法的充分性和全面性，实验结果表明，相较于硬擦除标准，该方法更好地反映了预测的重要部分，适用于自然语言处理中的各种任务与不同特征归因方法。

    May, 2023

  • 通过忠实度违规测试重新思考注意力模型可解释性

    本文发现注意力解释的一个关键限制：弱点在于识别特征影响的极性。为此，作者提出了一个行动诊断方法来量化解释权重与影响极性之间的一致性，并通过大量实验表明，大多数测试的解释方法都意外受到忠诚度违反问题的阻碍，特别是原始的关注力。

    Jan, 2022

  • 评估文本分类输入显著性方法的忠实度协议：您能发现这些捷径吗？

    本文提出了一种研究模型特征重要性的方法，并对四种标准输入明显性方法在文本分类和模型调试场景下的效果进行了深入分析，并建议针对每种新任务 - 模型组合采用该方法以找到找到最佳的快捷方式识别方法。

    Nov, 2021

  • 构建学习的忠实理性化

    提出了一种名为 FRESH 的简化模型解释方法，通过使用任意的特征重要性分数来导出二进制标签以训练提取器，再用提取器提供的片段训练独立分类器模块，从而构成可信解释，具有超越端到端方法的预测性能优势并更容易实现。

    Apr, 2020

  • ReAGent：面向生成语言模型的无模型特征归因方法

    我们提出了一种递归归因生成器（ReAGent）方法，用于生成语言模型的模型无关特征归因，通过计算原始输入和替换部分输入进行比较，确保我们的方法在各种解码器模型中提供更加准确的关键词重要性分布。

    Feb, 2024

  • 概率也很重要：大型语言模型中自由文本解释的忠实度的更为准确的评估指标

    评估了 Llama2 系列的少样本提示 LLMs 生成的自由文本解释在三个 NLP 任务上的忠实性，并发现我们的度量考虑了 CT 遗漏的忠实性方面。

    Apr, 2024

  • 略施推力，NLI 模型可鲁棒高效地预测忠实度

    本文提出了一种利用数据增强和鲁棒推理过程将单纯的 NLI 模型用于预测语言模型忠实度的方法，应用于 TRUE 基准来说效果显著且计算代价较小。

    May, 2023

  • 传统机器学习模型解释方法比较 Part 2：量化模型解释可信度及通过降维改善

    本研究评估了多种特征排序方法的忠实度，并量化了限制相关特征对解释能力提高的影响，发现促进特征解释的方法在特征相关性降低后最具忠实度。

    Nov, 2022