ACLMay, 2023

反事实编辑器的反事实分析：一种基于回译的方法

PDF
TL;DR通过提出一个新的反向翻译的评估方法，我们针对自然语言处理模型和任务的解释方法的一致性问题进行了调查和分析，并提出了一种新的测量指标来评估不同特征的反事实生成方法的一致性。
responsible aiinterpretability methodsnatural language processingcounterfactual explanationsevaluation methodology
发现论文，激发创造
  • 自然语言界面的反事实解释

    本文提出了一种基于语义分析的新方法来生成自然语言界面的解释，重点是提供后续解释，描述如何最小修改发言以实现用户的目标。在两项用户研究中，我们证明了我们的方法可以显著提高用户的性能，并且与两种去除实验相比，可以生成更符合用户意图的解释。

    Apr, 2022

  • 基于逆向推理的合理性的自然语言推理中具体例子的逻辑可满足性

    本文提出 Faithfulness-through-Counterfactuals 方法并验证了其在模型验证及故障诊断中的有效性。该方法通过对逻辑谓词表达的对立假设进行模型预测一致性验证，无需额外的训练验证模型。

    May, 2022

  • 反事实推理：测试语言模型对假设场景的理解

    通过调查五种预训练语言模型在特殊条件下进行的逆向推理，发现这种逆向推理主要受到基于单词关联的影响，只有 GPT-3 能够展现对语言细微差别的敏感性。

    May, 2023

  • 使用自然语言生成反事实解释

    本文提出了一种基于深度神经网络的自然语言解释方法用于图像的分类，其中通过缺失证据来产生反事实解释，并提出了自动度量以分析所生成的反事实解释。

    Jun, 2018

  • 自然语言解释的忠实度测试

    本文探讨评估自然语言解释（NLEs）忠实度的挑战性问题，提出了两个测试：第一个是插入导致反事实预测的原因的反事实输入编辑器，第二个是从生成的 NLEs 中说明的原因中重建输入并检查它们导致相同预测的频率。我们的测试可以评估新兴的 NLE 模型，是开发忠实 NLE 的基本工具。

    May, 2023

  • 询问以了解更多：为虚假声明生成反事实解释

    本文提出了采用反事实解释的方法，通过三步：提问，寻找矛盾，合理推理，来让读者理解为什么一个特定新闻被认定为虚假，通过在 FEVER 数据集的实验评估表明，这种方法相比于现有成果更具有帮助性。

    Jun, 2022

  • 深度回溯的因果一致解释

    在结构因果模型中，我们引入了一种计算回溯反事实的实用方法，该方法对深度生成组件进行条件设定以解决在可控制因果模型的结构潜空间中可生成反事实的问题。相比其他方法，我们的方法具有多功能、模块化和满足因果关系的优势。通过在 MNIST 和 CelebA 的修改版本上实验，我们证明了这些特性。

    Oct, 2023

  • 计算反事实解释的方法 —— 一项调查研究

    机器学习模型日益广泛应用，因此解释其预测和行为变得越来越重要。本文综述了针对多种不同机器学习模型高效计算对抗性解释的模型特定方法，并提出了文献中尚未考虑的模型方法。

    Nov, 2019

  • 由一组解释器产生的反事实集合中选择解释的多标准方法

    基于多标准分析的多阶段集成方法能够从 Pareto 前沿中选择一个用于解释机器学习模型预测的可行对策。实验结果表明，该方法能够生成具有吸引力的多种质量度量的可操作对策。

    Mar, 2024

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021