ACLJan, 2021

Polyjuice：生成对抗样本用于模型解释、评估和优化

PDF
TL;DR本研究介绍了 Polyjuice，一种基于 GPT-2 的通用对抗生成器，可以控制扰动类型和位置，并且可以用于多种应用，包括提高模型训练和评估、增强状态 - of-the-art 的解释技术以及支持系统性对抗性错误分析。
发现论文，激发创造
  • 神经逆向生成：更为丰富的数据增强方法

    本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

    Oct, 2022

  • 自然语言逆事实生成综述

    自然语言对抗生成旨在最小程度地修改给定文本，使得修改后的文本将被分类为不同的类别。生成的对抗性示例提供了有关模型预测背后的推理过程的见解，通过突出显示哪些单词对结果有重要影响。此外，它们可用于检测模型的公平性问题或增强训练数据以提高模型的强健性。已进行了大量针对各种自然语言处理任务的对抗生成研究，采用了不同的模型和方法。由于这个领域的快速增长，系统综述对于指导未来的研究者和开发者至关重要。为了弥补这一空白，本综述全面概述了文本对抗生成方法，特别是基于大型语言模型的方法。我们提出了一个新的分类法将生成方法分为四组，并系统总结了评估生成质量的度量标准。最后，我们讨论了正在进行的研究挑战，并勾勒出未来工作的有前景的方向。

    Jul, 2024

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 超出模型可解释性：对比文本解释的忠实度和对抗鲁棒性

    本文介绍了一种通过对比解释方法，以可解释性和新建议形式提高分类器预测的可行性。该方法在文本数据上的应用情况得到了分析和评估，以及对研究所提供的度量标准的可靠性进行了初步的验证。

    Oct, 2022

  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • 插拔式因果文本生成：提升模型鲁棒性

    CASPer 框架使用插入即用的方法生成能够满足目标属性的对抗文本，用于补充训练数据，从而提高测试模型的鲁棒性和可靠性。

    Jun, 2022

  • 反事实推理：测试语言模型对假设场景的理解

    通过调查五种预训练语言模型在特殊条件下进行的逆向推理，发现这种逆向推理主要受到基于单词关联的影响，只有 GPT-3 能够展现对语言细微差别的敏感性。

    May, 2023

  • 生成反事实：控制文本反事实生成

    我们提出了一个名为 GYC 的框架，用于生成反事实文本样本，以测试机器学习系统的公正性和鲁棒性，特别地，我们生成了反事实样本，以便向对应条件如命名实体标签、语义角色标签或情感方向进行引导，同时我们在各领域实验的结果表明 GYC 生成了具有可信性、多样性、目标性和有效性的反事实样本，其可作为模型和任何文本去偏差算法的测试用例。

    Dec, 2020

  • 检索引导的问答反事实生成

    本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

    Oct, 2021

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021