Nov, 2023

利用反事实情况测量和改善对部分输入的专注力

PDF
TL;DR数据集中的伪相关性对于 NLP 模型在未见数据上的泛化性造成了影响。我们提出了一种新的评估方法，Counterfactual Attentiveness Test (CAT)，通过使用反事实推理来检测模型的注视变化。 CAT 的结果显示，对这种相关性的依赖主要受数据影响，并且通过引入反事实推理可以改善模型的注视能力。
spurious correlationsnlp modelscounterfactual attentiveness testgpt3augmenting training data
发现论文，激发创造
  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • 利用反事实增强数据学习具有显著差异的因素

    本文探讨了机器学习中由于混淆而导致的伪相关性问题，通过因果关系提供了明确的概念，并介绍了一种训练模型的方法和资源，可以降低其对伪相关性的敏感度，最终实验表明基于该方法提出的分类器在情感分析和自然语言推理任务上表现出了很好的性能。

    Sep, 2019

  • 通过自动生成的反事实情况实现文本分类中对伪相关性的鲁棒性

    通过增加具有相反特性和标签的反事实数据来训练鲁棒的文本分类器，以强化模型可靠性和泛化性，实验证明，其在人工生成对照样本和原始测试数据上表现出较高的鲁棒性和精准度。

    Dec, 2020

  • 表示插值的反事实对抗学习

    本文提出了一个基于因果关系的 Counterfactual Adversarial Training 框架（CAT），通过对单个样本生成对应的反事实表示，动态调整样本特有的损失权重，以此鼓励模型探索真实的因果关系，实现在句子分类、自然语言推理和问答等领域的显著性能提升。

    Sep, 2021

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 检索引导的问答反事实生成

    本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

    Oct, 2021

  • 在现实反事实情况下连接属性和 QA 模型行为

    本文研究了不同的归因技术在阅读理解（RC）领域中对现实反事实的假设的对齐程度，并发现对于 RC 最好的表现来自于我们对现有的一种配对归因方法的修改。

    Apr, 2021

  • CATfOOD：提升跨领域性能和校准性的反事实增强训练

    使用大型语言模型对小型语言模型进行训练数据增强，在抽取式问答系统中改善模型的领域外性能，并提高模型校准的多样性和精简性。

    Sep, 2023

  • 对比学习的反事实数据增强

    引入了一种无模型数据增强方法来解决不同治疗组之间的统计偏差问题，通过学习表示空间和相似度度量，确保接近的个体拥有相似的潜在结果，从而可靠地预测替代治疗组中个体的反事实结局，并有效减小不同治疗组之间的差异，进而提高现有模型的性能和抗过拟合能力的实验研究表明方法具有显著的改进。

    Nov, 2023

  • 通过反事实例和梯度监督学习区分重要因素

    使用对照例子作为监督信号，改进深度学习的训练方法，提高神经网络的泛化能力及性能。

    Apr, 2020