May, 2022

基于逆向推理的合理性的自然语言推理中具体例子的逻辑可满足性

PDF
TL;DR本文提出 Faithfulness-through-Counterfactuals 方法并验证了其在模型验证及故障诊断中的有效性。该方法通过对逻辑谓词表达的对立假设进行模型预测一致性验证，无需额外的训练验证模型。
faithfulnessnli taskcounterfactualslogical predicatesmodel verification
发现论文，激发创造
  • 自然语言解释的忠实度测试

    本文探讨评估自然语言解释（NLEs）忠实度的挑战性问题，提出了两个测试：第一个是插入导致反事实预测的原因的反事实输入编辑器，第二个是从生成的 NLEs 中说明的原因中重建输入并检查它们导致相同预测的频率。我们的测试可以评估新兴的 NLE 模型，是开发忠实 NLE 的基本工具。

    May, 2023

  • 反事实编辑器的反事实分析：一种基于回译的方法

    通过提出一个新的反向翻译的评估方法，我们针对自然语言处理模型和任务的解释方法的一致性问题进行了调查和分析，并提出了一种新的测量指标来评估不同特征的反事实生成方法的一致性。

    May, 2023

  • 针对表格数据的学习模型无关反事实解释

    本文提出了一种新的方法 ——C-CHVAE，该方法可以生成可实现的反事实解释，以更好地满足反事实解释的质量要求。

    Oct, 2019

  • 利用生成的 LLM 的反事实文本来解释黑盒 NLP 模型

    解释自然语言处理系统预测的因果解释对于确保安全性和建立信任至关重要，本文提出了两种针对模型无关性的倒因果估算方法，分别基于生成和匹配，并通过实验证明了生成模型和匹配模型在模型解释方面的出色性能。

    Oct, 2023

  • ELH 概念的反事实解释

    本研究提出首个在描述逻辑中生成反事实解释的算法，通过调整特征值来生成可被人类理解、人性化的解释，在用户调查和案例研究中证明其可行性。

    Jan, 2023

  • 有关重大决策的通用反事实解释模型

    该研究提出了一种基于形式验证的算法，使用逻辑公式表示距离函数（目标）和预测模型（约束），解决满足性问题生成最接近的反事实解释，能够生成可行的多样化反事实解释来满足 100% 的覆盖率。

    May, 2019

  • 询问以了解更多：为虚假声明生成反事实解释

    本文提出了采用反事实解释的方法，通过三步：提问，寻找矛盾，合理推理，来让读者理解为什么一个特定新闻被认定为虚假，通过在 FEVER 数据集的实验评估表明，这种方法相比于现有成果更具有帮助性。

    Jun, 2022

  • 通过能量限制的符合性反事实来解释忠实模型

    提出了一种新的算法框架，通过整合基于能量的建模和符合预测的最新进展，生成仅符合模型要求的以可信度分析为目标的柔性反事实解释。

    Dec, 2023

  • 概率也很重要：大型语言模型中自由文本解释的忠实度的更为准确的评估指标

    评估了 Llama2 系列的少样本提示 LLMs 生成的自由文本解释在三个 NLP 任务上的忠实性，并发现我们的度量考虑了 CT 遗漏的忠实性方面。

    Apr, 2024

  • 利用基数约束生成反事实解释

    提供关于机器学习算法如何工作和 / 或进行特定预测的解释是改善其可靠性、公平性和鲁棒性的主要工具之一。在解释类型中，反事实是最直观的一种，它是与给定点仅在预测目标和某些特征上不同的示例，它呈现了原始示例中需要改变的特征来翻转该示例的预测。然而，这种反事实可能具有与原始示例不同的许多不同特征，使得其解释困难。在本文中，我们提出明确为反事实生成添加一个基数约束，限制与原始示例不同的特征数量，从而提供更易解释和易理解的反事实。

    Apr, 2024