EMNLPOct, 2022

精准至点：针对忠实和丰富的文本生成的敌对性增强

PDF
TL;DR本文针对预训练 Seq2Seq 模型的鲁棒性问题，提出了一种新的针对 Seq2Seq 模型提高准确性和信息性的敌对增强框架 ——AdvSeq，通过隐式敌对样本和交换敌对样本来提高 Seq2Seq 模型的鲁棒性，实验结果表明 AdvSeq 显著提高了 Seq2Seq 生成的可信度和信息性。
发现论文，激发创造
  • 稳健神经摘要生成系统及其对抗信息的评估

    本文提出了一种基于语义理解的神经生成式摘要模型，通过对显要内容的语义解释学习生成高质量摘要。同时引入一种新的对抗样本评估体制，证明该模型比流行的指针 - 生成式模型更好地识别了离题信息，并且人工评估结果表明本文模型生成的摘要更具信息量和可信度，且冗余度更低。

    Oct, 2018

  • Seq2Sick: 使用对抗性示例评估序列到序列模型的鲁棒性

    该论文提出了一种利用梯度方法，结合组套稀疏和梯度正则化，以应对文本离散输入空间、近乎无限输出空间的序列到序列模型的对抗样本问题，并设计了新的损失函数来进行非重叠攻击和有针对性的关键词攻击。针对机器翻译和文本摘要任务，研究发现该方法的有效性。

    Mar, 2018

  • FRSUM：提高事实鲁棒性以实现忠实的抽象摘要

    本文从事 Seq2Seq 模型中摘要不忠实的问题，并从事实鲁棒性的角度对现有系统的忠实度进行研究。针对当前存在的问题，作者提出了一种名为 FRSUM 的新的训练策略，能够在生成文本时防御显式和隐式的对抗信息，从而提高 Seq2Seq 模型的忠实度

    Nov, 2022

  • 关于对序列到序列模型进行对抗扰动评估

    提出一种新的 seq2seq 模型对抗攻击的评估框架，并证明现有方法普遍无法保持语义的等价性。同时，发现在对模型进行对抗性训练时，使用保持意义的攻击可以提高模型的鲁棒性而不影响测试性能。

    Mar, 2019

  • 机器翻译模型面对敌对攻击表现强劲

    深度学习模型中的对抗攻击通过对输入进行微小扰动，从而导致输出发生重大变化。我们的研究重点是这种对抗攻击对序列到序列（seq2seq）模型的影响，特别是机器翻译模型。我们引入了基本的文本扰动启发式算法和更高级的策略，例如基于梯度的攻击，该攻击利用可微分逼近的非可微分翻译度量。通过我们的调查，我们提供了证据表明机器翻译模型对已知最佳对抗攻击显示出鲁棒性，因为输出中的扰动程度与输入中的扰动成正比。然而，在次优方法中，我们的攻击方法优于其他方法，提供了最佳的相对性能。另一个有力的候选方法是基于混合单个字符的攻击。

    Sep, 2023

  • 使用双重增益提高摘要系统的鲁棒性

    本文旨在研究文本摘要模型对词级同义替换和噪声的鲁棒性，发现模型鲁棒性不足。为提高模型的鲁棒性，提出用语言模型生成对抗样本并在输入空间内使用这些样本多样化原始数据，同时在隐藏空间内进行流形混合操作以引入更多的编码器编码输出。测试结果表明，该方法得到了有效的改进。

    Jun, 2023

  • 通过对抗训练实现强健的机器阅读理解模型

    通过提出一个新的对抗生成算法 AddSentDiverse 和改进模型的语义关系学习能力，作者在 Stanford 问题问答数据集上实现了一个近 36.5% 的 F1 得分提升并提高了模型的鲁棒性。

    Apr, 2018

  • 利用对抗扰动的对比学习实现条件文本生成

    该论文通过对比正负样本来缓解序列到序列模型中的条件文本生成问题，通过生成正负样本来引导模型更好地区分正确的输出和错误的输出，并提出了一种原则性的方法来生成正负样本，改进了机器翻译、文本摘要和问题生成等三个文本生成任务的泛化能力。

    Dec, 2020

  • 面向对话语言理解的序列到序列数据增强

    本研究针对面向任务对话系统中语言理解的数据增强问题，提出了基于序列到序列生成的数据增强框架来提高模型的性能，该框架利用训练数据中某个话语的同义替代品来增强数据，将多样性排名纳入话语表示中，生成多样性增加的话语，实验证明在仅有数百个话语的情况下，在 Airline Travel Information System 数据集和 Stanford Multi-turn，Multidomain Dialogue 数据集上都取得了显著的 6.38 和 10.04 分数提高。

    Jul, 2018

  • AdvAug: 神经机器翻译的鲁棒对抗性增强

    本文提出了一种新的神经机器翻译对抗性数据增强方法，称之为 AdvAug，使用虚拟句子的嵌入来训练 NMT 模型，通过实验证明其取得了显著的效果提升。

    Jun, 2020