EMNLPOct, 2022

最大化利用少量反事实增强情感分类鲁棒性

PDF
TL;DR针对文本分类任务中的模型过度依赖模式数据的问题，本文提出了一种新的解决方案，使用编码向量空间的自动生成机制减少新数据生成的人工成本，只需对原始训练数据的一小部分（例如 1％）进行注释即可获得明显的准确性改进。实验证明，该方法对情感分类有效，并在使用 IMDb 数据进行训练和 Amazon、SemEval 和 Yelp 等其他数据集进行 OOD 测试时，仅添加 1％手动反事实数据即可获得 + 3％的准确性提升，相比于添加 100％的训练样本和其他反事实方法比较，准确性提高了 1.3％。
text classificationfinetuned language modelsspurious patternscounterfactual samplessentiment classification
发现论文，激发创造
  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • 神经逆向生成：更为丰富的数据增强方法

    本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

    Oct, 2022

  • 通过自动生成的反事实情况实现文本分类中对伪相关性的鲁棒性

    通过增加具有相反特性和标签的反事实数据来训练鲁棒的文本分类器，以强化模型可靠性和泛化性，实验证明，其在人工生成对照样本和原始测试数据上表现出较高的鲁棒性和精准度。

    Dec, 2020

  • CATfOOD：提升跨领域性能和校准性的反事实增强训练

    使用大型语言模型对小型语言模型进行训练数据增强，在抽取式问答系统中改善模型的领域外性能，并提高模型校准的多样性和精简性。

    Sep, 2023

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 基于因果结构的文本 OOD 泛化的增强

    通过使用反事实数据增强、基于数据的因果结构模拟对虚假特征的干预，以及采用大型语言模型来表示文本的条件概率，该论文介绍了一种改善文本分类器鲁棒性的方法，并通过在医疗叙述和半合成数据上进行广泛实验，证明了该方法对改善模型的预测能力具有积极效果。

    Oct, 2023

  • 通过反事实评估减少语言模型中的情感偏见

    本文旨在量化并减少语言模型中表现出的情感偏见，该文分析了在给定的条件下（例如写作提示）和语言模型中，引起生成的文本情感发生变化的敏感属性（例如国家名称，职业，性别）的值变化的影响。我们采用公平机器学习文献中的个体和团体公正度量来量化情感偏见，并证明在两种不同的语料库（新闻文章和维基百科）上训练的大规模模型存在相当高的偏见。我们随后提出使用嵌入和情感预测导出的正则化方法，该方法应用于语言模型的潜在表示。该正则化提高了公正度量，同时保持了可比水平的困惑度和语义相似性。

    Nov, 2019

  • 基于反事实推理的跨领域多模态情感分析

    本文提出了一种基于因果推断的针对 out-of-distribution (OOD) 多模态情感分析的方法，通过引入反事实框架以及考虑多模态语义，分别考虑文本的直接和间接效应，对多模态情感进行可靠的预测并展示了该方法在泛化能力方面的优越性。

    Jul, 2022

  • 利用反事实增强数据学习具有显著差异的因素

    本文探讨了机器学习中由于混淆而导致的伪相关性问题，通过因果关系提供了明确的概念，并介绍了一种训练模型的方法和资源，可以降低其对伪相关性的敏感度，最终实验表明基于该方法提出的分类器在情感分析和自然语言推理任务上表现出了很好的性能。

    Sep, 2019

  • 通过主动生成成对的反事实，提高分类器的健壮性

    本文提出一种利用对抗生成模型自动生成对抗样本并用成对分类器对其自动标注的框架，通过对仅 10% 人工标注的对抗样本数据进行生成，能有效提高情感分类和问题重述任务等自然语言分类器的 18-20% 稳健性和 14-21% 误差缩减。

    May, 2023