通过对抗训练和数据增强改进常识因果推理

AAAIJan, 2021

通过对抗训练和数据增强改进常识因果推理

Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation

Ieva Staliūnaitė, Philip John Gorinski, Ignacio Iacobacci

TL;DR本论文提出了多种技术手段，包括对抗训练、语言模型和数据增强等，用于提高模型在因果推理领域的性能和鲁棒性，这些方法均能使模型在 COPA 数据集上有显著改进。

Abstract

Determining the plausibility of causal relations between clauses is a commonsense reasoning task that requires complex inference ability. The general approach to this task is to train a large pretrained language model on a specific dataset. However, the available training data for the

causal reasoning adversarial training data augmentation language model model performance

发现论文，激发创造

是行善还是行正？探索常识因果推理模型的缺陷

本文研究语言模型在推理任务中的语义相似性偏见问题，提出添加正则化损失的解决方案，能够提高模型泛化能力，在 BCOPA-CE 数据集上表现更为稳健且具有更好的表现。

Jul, 2021

常识推理的对抗训练

提出了一种基于对抗训练的算法 ALICE，利用小扰动词嵌入并最小化其对抗风险以规范化模型，通过估算这些扰动的两种不同方法来利用一个新颖的组合，实现不依赖于任何人工制定的特征、知识库或目标数据集以外的附加数据集的对 RoBERTa 模型的细调性能的提升，在多个需要常识推理的阅读理解数据集上实现了具有竞争力的结果。

May, 2020

解释、编辑、生成：为多跳事实验证的理由敏感的反事实数据增强

论文提出了一种理性敏感的方法来生成语言多样且标签翻转的反事实数据，同时保持逻辑关系，并通过检查和过滤模块对反事实数据进行规范化，实验结果表明该方法优于基准模型，并且能够生成语言多样的反事实数据而不破坏其逻辑关系。

Oct, 2023

知识增强语言模型用于因果关系分类

本文研究如何将常识知识加入预训练的语言模型中，并发现这种方式可以提高模型在因果关系分类和常识因果推理任务中的表现。

Dec, 2021

基于因果结构的文本 OOD 泛化的增强

通过使用反事实数据增强、基于数据的因果结构模拟对虚假特征的干预，以及采用大型语言模型来表示文本的条件概率，该论文介绍了一种改善文本分类器鲁棒性的方法，并通过在医疗叙述和半合成数据上进行广泛实验，证明了该方法对改善模型的预测能力具有积极效果。

Oct, 2023

通识推理的生成式数据增广

该研究使用预先训练的语言模型和选择最有信息量和多样性的生成数据的方法，比基于后翻译的现有数据增强方法表现更好，并在低资源环境下获得了更准确和稳健的学习结果。

Apr, 2020

CausalAdv：因果视角下的对抗鲁棒性

本文利用因果分析来建模敌对攻击的产生过程，并定义敌对分布以形式化敌对攻击的直观；通过因果解释，本文提出了一种由 Causal inspired Adversarial distribution alignment 方法，CausalAdv，以消除自然分布和敌对分布之间差异的方法，并证明了该方法的有效性。

Jun, 2021

通过主动生成成对的反事实，提高分类器的健壮性

本文提出一种利用对抗生成模型自动生成对抗样本并用成对分类器对其自动标注的框架，通过对仅 10% 人工标注的对抗样本数据进行生成，能有效提高情感分类和问题重述任务等自然语言分类器的 18-20% 稳健性和 14-21% 误差缩减。

May, 2023

针对阅读理解中的领域和跨语言通用性进行的对抗增强策略搜索

本文研究了如何通过自动化数据增强和提出多种 QA 攻击来增强阅读理解模型的鲁棒性，同时提高其在源域、新领域和不同语言中的泛化性能。结果表明，采用学习的增强策略可以显著提高模型在各种领域和语言中的性能。

Apr, 2020

用于上下文常识推理的对抗变换器语言模型

本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

Feb, 2023