Jul, 2024

自然语言逆事实生成综述

HTML
PDF
TL;DR自然语言对抗生成旨在最小程度地修改给定文本，使得修改后的文本将被分类为不同的类别。生成的对抗性示例提供了有关模型预测背后的推理过程的见解，通过突出显示哪些单词对结果有重要影响。此外，它们可用于检测模型的公平性问题或增强训练数据以提高模型的强健性。已进行了大量针对各种自然语言处理任务的对抗生成研究，采用了不同的模型和方法。由于这个领域的快速增长，系统综述对于指导未来的研究者和开发者至关重要。为了弥补这一空白，本综述全面概述了文本对抗生成方法，特别是基于大型语言模型的方法。我们提出了一个新的分类法将生成方法分为四组，并系统总结了评估生成质量的度量标准。最后，我们讨论了正在进行的研究挑战，并勾勒出未来工作的有前景的方向。
发现论文，激发创造
  • 生成反事实：控制文本反事实生成

    我们提出了一个名为GYC的框架，用于生成反事实文本样本，以测试机器学习系统的公正性和鲁棒性，特别地，我们生成了反事实样本，以便向对应条件如命名实体标签、语义角色标签或情感方向进行引导，同时我们在各领域实验的结果表明GYC生成了具有可信性、多样性、目标性和有效性的反事实样本，其可作为模型和任何文本去偏差算法的测试用例。

    Dec, 2020

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021

  • 文本分类中的逆因果多令牌公平性

    本文提出了一种名为Counterfactual Multi-token Generation的生成方案，通过扰动多个敏感Token，可对各种形式的文本和文档实现更好的Counterfactual公平性，获得在多个基准数据集上显著的性能提升。

    Feb, 2022

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在Civil Comments数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 大型语言模型作为反事实生成器: 优缺点

    本研究探究了大型语言模型（LLMs）进行反事实生成和数据增强的能力，发现 LLMs 很有效的进行反事实生成，但因为自身限制和缺少实用逻辑指导，在某些复杂任务上表现欠佳。提供准确的任务定义和详细的操作步骤对于在 LLMs 中生成反事实具有决定性影响。同时，研究还证明了 LLMs 可能在缺乏合理演示的情况下生成合理的反事实，说明演示主要用于规范输出格式。因此，基于 LLMs 进行数据增强来增强 SLMs 是一种非常有前景的研究和应用方向。

    May, 2023

  • CREST: 理性化与因果文本生成的联合框架

    本文介绍了一种名为CREST的联合框架，结合了选择性合理化和反事实文本生成的互补优势，实现了在对NLP模型进行分析和训练时的提取有意义的特征和提高模型稳健性的目的。

    May, 2023

  • CEval：用于评估反事实文本生成的基准

    反事实文本生成的基准评估库CEval，结合了反事实和文本质量指标，包含了常用的反事实数据集和标注，以及标准基线模型和开源语言模型LLAMA-2。实验结果显示，目前还没有完美的生成反事实文本的方法。在反事实指标方面表现优异的方法往往生成质量较低的文本，而使用简单提示的语言模型则能生成高质量的文本，但在反事实准则上有困难。通过将CEval作为开源Python库公开，鼓励社区贡献更多方法，并在未来的研究中保持一致的评估标准。

    Apr, 2024

  • 用于生成和评估逆事实的LLMs：一项全面研究

    NLP模型生成反事实样本的能力及其对数据增强的影响进行了比较和评估，发现LLMs生成流利但改动较大的反事实样本，数据增强效果与人工生成的样本相比有明显差距。此外，LLMs对偏标签数据的评估表现出明显的偏向性，而GPT4对此偏见更加稳健，并且其得分与自动评价指标具有很好的相关性。研究结果揭示了几个限制，并指出了未来的研究方向。

    Apr, 2024

  • 基于零样本下的零模型向导的文本反事实生成

    通过全面的自然语言处理（NLP）下游任务中的实验证明，最近大型语言模型（LLMs）作为零-shot反事实生成器在评估和解释黑盒NLP模型方面具有高效性。

    May, 2024

  • 大型语言模型中的反事实令牌生成

    本研究解决了大型语言模型在生成文本时缺乏反事实推理能力的问题。通过开发基于Gumbel-Max结构因果模型的令牌生成方法，使得模型能够以几乎不增加成本的方式进行反事实令牌生成。研究表明，该方法不仅易于实现，而且可用于偏见检测，揭示了大型语言模型构建的世界观中的有趣见解。

    Sep, 2024