解释黑盒序列到序列模型预测的因果框架

EMNLPJul, 2017

解释黑盒序列到序列模型预测的因果框架

A causal framework for explaining the predictions of black-box sequence-to-sequence models

David Alvarez-Melis, Tommi S. Jaakkola

TL;DR采用黑盒结构化输入输出模型进行预测并通过干扰输入生成相关性图和解决分割问题来解释黑盒模型预测，着重于序列生成问题并采用变分自编码器来产生有意义的干扰，我们在多个 NLP 序列 - 生成任务中测试了该方法。

Abstract

We interpret the predictions of any black-box structured input-structured output model around a specific input-output pair. Our method returns an "explanation" consisting of groups of input-output tokens that are causally related. These dependencies are inferred by querying the black-box mode

black-box model causal relationships sequence-to-sequence problems variational autoencoder nlp

发现论文，激发创造

黑匣子分类器生成因果解释

通过利用生成式模型和因果影响信息论度量，我们开发了一种方法，用于生成关于黑盒分类器的因果事后解释，方法可以学习低维度的数据表示。我们的方法学习全局和局部的解释，适用于任何具有类概率和梯度的分类器，并且不需要标记的属性或因果结构的知识。

Jun, 2020

随机序列多智能体决策的因果社交解释

我们提出一个新颖的框架，用于在随机序列多智能体环境中为智能体的决策提供因果解释，通过自然语言交流回答广泛的用户查询，涉及联想、干预或反事实的因果推理。该方法不假定任何特定的因果图，而是依赖于相互作用的生成模型来模拟反事实世界，从而识别决策背后的显著原因。我们将该方法应用于自动驾驶的运动规划，并在耦合交互的模拟场景中进行测试。我们的方法可以正确地识别和排名相关的原因，并向用户提供简明的解释。

Feb, 2023

金融因果关系提取的生成方法

该论文探讨了一种利用编码器 - 解码器框架和指针网络实现因果关系提取的生成式方法，并使用金融领域的因果数据集进行实验，结果表现出了极高的性能水平。

Apr, 2022

通过有意义的扰动提供黑匣子的可解释性解释

该研究提出了一种适用于任何黑盒机器学习算法的通用解释框架，并将其特化以找到对分类器决策最负责的图像部分。该方法是模型无关且可测试的，因为它基于明确且可解释的图像扰动。

Apr, 2017

将因果分析融入多样化和逻辑回复生成中

本文研究了 Conditional Variational AutoEncoder（CVAE）生成回答时常常与原问题不相关或缺乏逻辑性的原因，并提出了一种寻找中介变量和缓解对话中混淆偏差的方法。在此基础上，提出了动态话题图引导的条件变分自动编码器（TGG-CVAE）模型，用于补充语义空间并减少响应中混淆偏差。实验证明，所提出的模型能够生成相关且信息量丰富的回答，并在自动评估和人类评估方面优于现有的最先进模型。

Sep, 2022

强健稳定的黑盒解释

通过敌对训练的方法，我们提出了一个生成稳健且高保真黑盒模型解释的新框架，尝试解决现有算法在受到分布偏移时缺乏稳定性和鲁棒性的问题，本文是首次尝试生成对一类有实际意义的敌对扰动具有鲁棒性的后续解释，实验发现我们的方法显著提高了解释的鲁棒性，而不会在原始数据分布上牺牲解释的保真度。

Nov, 2020

利用因果推断进行可解释的自动程序修复

本文介绍了一种名为因果程序修复（CPR）的可解释性方法，该方法基于序列到序列模型和因果推断，可以在自动程序修复的过程中生成决策解释的相关组成部分、通过数据增广来推断这些关系、生成响应的令牌图，并解决划分问题。实验表明，CPR 可以生成合理的解释因果图，并提高自动程序修复的错误修正性能。

May, 2022

神经网络稳健可解释性的因果分析

本文提出了一种基于因果分析的鲁棒性干预方法，以捕获神经网络内部的因果机制，从而审核模型行为，获得更加稳定和可信的解释，该方法适用于图像分类等任务。

May, 2023

诱导抽象文本摘要的因果结构

通过引入结构因果模型 (SCM) 从而诱导总结数据的潜在因果结构，我们提出了一种因果启发式序列到序列模型 (CI-Seq2Seq) 来学习可以模拟因果因素的因果表示，以引导我们获取总结生成的因果信息。在两个广泛使用的文本总结数据集上的实验结果证明了我们方法的优势。

Aug, 2023

指导式因果关系生成

本研究提出了一种基于条件的文本生成框架，依赖于 CausalBank 和 Cause Effect Graph 两个新资源开发，并使用词汇约束解码来支持析取正约束，利用 CausalBank 对最近一种最先进的因果推理模型的编码器进行持续训练，在不改变模型架构的情况下在 COPA 挑战集上取得了 3 分的提高。

Jul, 2021