Dec, 2022

DISCO: 利用大型语言模型提取短语反事实

PDF
TL;DR该论文提出了一种名为 DISCO 的新框架，可以使用大规模语言模型生成高质量的反事实数据，并借助特定于任务的老师模型过滤生成，以提高模型的稳健性和泛化性能。实验结果表明，使用这种方式进行学习，学生模型的鲁棒性和跨分布能力比基线提高了 6%（绝对）和 5%。
data augmentationcounterfactual knowledgediscotask-specific teacher modelmodel robustness
发现论文，激发创造
  • 神经逆向生成：更为丰富的数据增强方法

    本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

    Oct, 2022

  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • 通过主动生成成对的反事实，提高分类器的健壮性

    本文提出一种利用对抗生成模型自动生成对抗样本并用成对分类器对其自动标注的框架，通过对仅 10% 人工标注的对抗样本数据进行生成，能有效提高情感分类和问题重述任务等自然语言分类器的 18-20% 稳健性和 14-21% 误差缩减。

    May, 2023

  • 最大化利用少量反事实增强情感分类鲁棒性

    针对文本分类任务中的模型过度依赖模式数据的问题，本文提出了一种新的解决方案，使用编码向量空间的自动生成机制减少新数据生成的人工成本，只需对原始训练数据的一小部分（例如 1％）进行注释即可获得明显的准确性改进。实验证明，该方法对情感分类有效，并在使用 IMDb 数据进行训练和 Amazon、SemEval 和 Yelp 等其他数据集进行 OOD 测试时，仅添加 1％手动反事实数据即可获得 + 3％的准确性提升，相比于添加 100％的训练样本和其他反事实方法比较，准确性提高了 1.3％。

    Oct, 2022

  • 借助反事实知识蒸馏来纠正 Clever-Hans 预测器

    本文介绍了一种被称为反事实知识蒸馏 (CFKD) 的新技术，通过人类专家反馈帮助检测和消除深度学习模型对混淆因素的依赖。该技术在受监管或安全关键领域有着重要作用，论文还展示了反事实解释相对于其他类型解释的优点，并提出了一个实验方案来定量评估 CFKD 的成功情况以及能够对模型提供反馈的不同教师。同时还引入了一个与真实测试性能更相关的新度量方式。通过在合成增强数据集和真实组织病理学数据集上进行的实验，论文证明了 CFKD 的有效性。

    Oct, 2023

  • 使用 DiscoSCMs 回答第 3 层查询

    该论文介绍了因果建模框架中的反事实退化问题，并提出了 DiscoSCM 框架作为解决方案，该框架结合了潜在结果和结构因果模型的优势，并展示了在单位选择问题上的出色表现。

    Sep, 2023

  • 利用反事实图像强化预训练模型

    该论文提出了一种新的框架，通过语言引导生成对抗图片来加强分类模型。通过使用对抗图片数据集来测试模型的弱点，并将对抗图片作为增加的数据集来微调和加固分类模型，研究揭示了使用小规模对抗图片进行微调可以有效增强模型的性能。

    Jun, 2024

  • disco：生成模型分布控制的工具包

    本文提出了一个名为 disco 的 Python 库，用于使分布式控制技术更容易为广大公众所使用，以解决现有语言模型和其他生成模型所遇到的不足和局限。

    Mar, 2023

  • 反事实推理：测试语言模型对假设场景的理解

    通过调查五种预训练语言模型在特殊条件下进行的逆向推理，发现这种逆向推理主要受到基于单词关联的影响，只有 GPT-3 能够展现对语言细微差别的敏感性。

    May, 2023

  • CORE: 一种用于生成对事实对照数据的检索 - 编辑框架

    通过 COunterfactual Generation via Retrieval and Editing (CORE) 框架，在训练过程中利用检索和编辑技术生成多样化的抗干扰扰动（即 counterfactual），从而显著提高了模型的泛化能力。与其他数据增广方法相比，CORE 抗干扰扰动在改善模型对分布外（OOD）数据的性能方面表现更出色。

    Oct, 2022