ACLJun, 2021

探究自动生成的反事实数据在情感分析中的有效性

PDF
TL;DR提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。
nlp modelssystematic biasescounterfactually augmented datasetsdata augmentationmodel performance
发现论文，激发创造
  • 最大化利用少量反事实增强情感分类鲁棒性

    针对文本分类任务中的模型过度依赖模式数据的问题，本文提出了一种新的解决方案，使用编码向量空间的自动生成机制减少新数据生成的人工成本，只需对原始训练数据的一小部分（例如 1％）进行注释即可获得明显的准确性改进。实验证明，该方法对情感分类有效，并在使用 IMDb 数据进行训练和 Amazon、SemEval 和 Yelp 等其他数据集进行 OOD 测试时，仅添加 1％手动反事实数据即可获得 + 3％的准确性提升，相比于添加 100％的训练样本和其他反事实方法比较，准确性提高了 1.3％。

    Oct, 2022

  • 神经逆向生成：更为丰富的数据增强方法

    本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

    Oct, 2022

  • 通过自动生成的反事实情况实现文本分类中对伪相关性的鲁棒性

    通过增加具有相反特性和标签的反事实数据来训练鲁棒的文本分类器，以强化模型可靠性和泛化性，实验证明，其在人工生成对照样本和原始测试数据上表现出较高的鲁棒性和精准度。

    Dec, 2020

  • 反事实增强的 SNLI 训练数据不比未增强的数据具有更好的泛化性能

    本研究发现，通过常规众包技术建立的反事实数据增强自然语言阅读理解数据集，不利于训练模型的泛化性和鲁棒性，并且在成本考虑上使用此种方法带来的收益很少。

    Oct, 2020

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 利用反事实增强数据学习具有显著差异的因素

    本文探讨了机器学习中由于混淆而导致的伪相关性问题，通过因果关系提供了明确的概念，并介绍了一种训练模型的方法和资源，可以降低其对伪相关性的敏感度，最终实验表明基于该方法提出的分类器在情感分析和自然语言推理任务上表现出了很好的性能。

    Sep, 2019

  • 基于非反事实扩充的稳健性方面情感分析

    本文提出了一种使用嘈杂但代价效益高的数据增强模型来提高 NLP 模型在情感分析任务中的鲁棒性的方法，并通过实验证明这种方法对标准和鲁棒性特定的数据集都有显著的改进，同时在 ABSA 鲁棒性基准测试中创造了新的 state-of-the-art，并在不同领域中具有很好的迁移能力。

    Jun, 2023

  • 解释、编辑、生成：为多跳事实验证的理由敏感的反事实数据增强

    论文提出了一种理性敏感的方法来生成语言多样且标签翻转的反事实数据，同时保持逻辑关系，并通过检查和过滤模块对反事实数据进行规范化，实验结果表明该方法优于基准模型，并且能够生成语言多样的反事实数据而不破坏其逻辑关系。

    Oct, 2023

  • 反事实数据增强改进抽象摘要的真实性

    该文章介绍了一种基于对抗数据增广的方法，用于提高 Abstractive summarization system 的 factual correctness, 相关方法包括将同一或不同类别的实体或名词的 WordNet hypernyms 进行替换，实验证明，使用我们的方法对 CNN/Dailymail 和 XSum 等数据集进行训练，可将 factual correctness 平均提高约 2.5 个点。

    May, 2022

  • 检索引导的问答反事实生成

    本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

    Oct, 2021