Apr, 2022

自然语言推理中归因方法评估的多语言视角

PDF
TL;DR本文提出了一种多语言方法，用于评估自然语言推理的归因方法在合理性和忠实度方面的表现，并通过单词对齐量化忠实度。认为效果最好的归因方法在合理性和忠实度方面不同，并用基于高亮的解释增强了 XNLI 数据集，提供了一个支持未来 exNLP 研究的多语言 NLI 数据集。
发现论文，激发创造
  • 跨语言问答的归因评估与建模

    为了提高跨语言问答系统的可靠性，本研究对该系统的描述性和归属性进行了研究，并测试了多种检测方法来提高归属度。通过使用自然语言推理模型和 PaLM2 对少量的归属数据进行微调，可以准确地检测到归属和提高跨语言问答系统的归属度。

    May, 2023

  • 多语言和单语细调语言模型的解释忠实度比较

    在实际的自然语言处理应用场景中，研究人员不仅希望提高预测性能，还寻求模型预测的准确解释。已有研究探讨了不同因素对解释的准确性的影响，但多语言和单语言模型之间解释的准确性差异尚未探索。通过对五种语言和五种常用特征归因方法进行广泛实验，我们发现多语言模型的解释准确性与单语言模型存在差异，并且发现多语言模型越大，特征归因方法相对于单语言模型的解释准确性越低。进一步的分析表明，这种差异可能由模型分词器之间的差异引起。

    Mar, 2024

  • 基准测试忠实度：关于在视觉语言任务中实现准确的自然语言解释

    本文探讨了目前逐渐普及应用的神经模型的透明度和可理解性的需求，提出了三种可信度测量方法，并在对不同模型架构的比较中使用 VQA-X 和 e-SNLI-VE 数据集进行了评估。

    Apr, 2023

  • 自然语言生成中的忠实度：分析、评估和优化方法的系统调查

    本文系统综述了自然语言生成（NLG）的忠实度问题和相关评估方法和优化方法，并将不同任务的评估和优化方法组织在一个统一的分类中，以促进不同任务之间的比较和学习。

    Mar, 2022

  • 略施推力，NLI 模型可鲁棒高效地预测忠实度

    本文提出了一种利用数据增强和鲁棒推理过程将单纯的 NLI 模型用于预测语言模型忠实度的方法，应用于 TRUE 基准来说效果显著且计算代价较小。

    May, 2023

  • 自然语言解释的忠实度测试

    本文探讨评估自然语言解释（NLEs）忠实度的挑战性问题，提出了两个测试：第一个是插入导致反事实预测的原因的反事实输入编辑器，第二个是从生成的 NLEs 中说明的原因中重建输入并检查它们导致相同预测的频率。我们的测试可以评估新兴的 NLE 模型，是开发忠实 NLE 的基本工具。

    May, 2023

  • 评估特征归因方法的双重视角方法

    特征归因方法通过识别相关特征来解释神经网络的预测结果，本研究在 “忠实度” 范式内提出了两个新视角：可靠性和完备性，分别评估特征是否真正预测，以及归因结果是否完整，并基于数学基础提供可计算的定量度量，将这些指标应用于主流归因方法，为分析和比较特征归因方法提供了新视角。

    Aug, 2023

  • 评估跨语言句子表示的 XNLI

    本文提出了 XNLI 数据集用于跨语言句子理解的评估，并研究了多语言句子理解的基准和挑战。

    Sep, 2018

  • 揭示语言模型的参数化知识：一种统一的归因方法框架

    我们的研究引入了一种新的评估框架，用于量化和比较 IA 和 NA 揭示的知识，并通过广泛的实验和分析表明，与 IA 相比，NA 通常揭示了更多关于 LM 的参数化知识的多样性和全面性信息，然而，IA 提供了有关 LM 的参数化知识的独特而有价值的见解，这不是由 NA 揭示的。我们的研究结果进一步表明，结合 IA 和 NA 的多样化发现可能对 LM 的参数化知识有更全面的理解。

    Apr, 2024

  • 探究归因方法的改进

    本文提出三种新的评估方案来衡量影响深度神经网络决策的图像区域，以及平衡各种评估方法之间的比较，并提出一个后处理平滑步骤来改善一些归因方法的性能。

    May, 2022