ICLRDec, 2020

利用对抗扰动的对比学习实现条件文本生成

PDF
TL;DR该论文通过对比正负样本来缓解序列到序列模型中的条件文本生成问题，通过生成正负样本来引导模型更好地区分正确的输出和错误的输出，并提出了一种原则性的方法来生成正负样本，改进了机器翻译、文本摘要和问题生成等三个文本生成任务的泛化能力。
sequence-to-sequence modelstransformerconditional text generationexposure bias problemcontrastive learning
发现论文，激发创造
  • 可微分数据增强用于对比句子表示学习

    本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

    Oct, 2022

  • CLINE: 自然语言理解中的语义反例对比学习

    本研究提出了一种名为 CLINE 的方法，该方法使用语义负例构建对抗训练以提高预训练语言模型在面对语义攻击时的鲁棒性，并通过不同语义的比较来有效感知这种攻击所造成的语义变化。实验结果表明，该方法在情感分析、推理和阅读理解任务方面均有显著的改进。

    Jul, 2021

  • CoNT: 对比神经文本生成

    本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。

    May, 2022

  • 通过对抗扰动的对比视频表示学习

    此篇论文提出一种新的对比学习方法 —— 用对抗性扰动来构建负样本，以生产改进后的视频表征，并使用斯蒂费尔流形上的黎曼优化方法以实现子空间学习目标，最终产生具有较好鲁棒性的视频表征。

    Jul, 2018

  • 对比对抗训练改进的文本分类

    该研究提出了一种正则化 Transformer-based 编码器 fine-tuning 用于文本分类任务的通用方法，并通过对干净和对抗性示例的对比学习来实现噪声不变表示，从而得到更好的文本分类效果。

    Jul, 2021

  • 使用语义衰减的负样本进行稳健的对比学习

    本研究通过生成精心设计的负样本，表明对比学习可以学习到更具有鲁棒性的表示，减少对低级特征的依赖，而我们通过纹理和面板增强的方式生成负样本，在特定的 ImageNet 数据集上分类时表现出一定的可行性

    Oct, 2021

  • 对抗样本的对比学习

    本文提出了一种针对对抗性对比学习的新算法 CLAE，通过使用对抗性样本增强数据并在优化时考虑一个批次中的所有图片，能够更好地定义正负样本，充分提高自监督学习任务的性能和学习能力。

    Oct, 2020

  • Seq2Sick: 使用对抗性示例评估序列到序列模型的鲁棒性

    该论文提出了一种利用梯度方法，结合组套稀疏和梯度正则化，以应对文本离散输入空间、近乎无限输出空间的序列到序列模型的对抗样本问题，并设计了新的损失函数来进行非重叠攻击和有针对性的关键词攻击。针对机器翻译和文本摘要任务，研究发现该方法的有效性。

    Mar, 2018

  • GAP++: 学习生成目标条件下对抗性样本

    提出一种更通用的框架，该框架可以推断基于输入图像和目标标签的目标条件扰动，通过学习攻击目标与图像中的语义关系。在 MNIST 和 CIFAR10 数据集的广泛实验中，该方法实现了超越单目标攻击模型的优异性能，并以小扰动范数获得高愚弄率。

    Jun, 2020

  • 使用对比上下文学习自定义语言模型回复

    利用对照性示例来提高大型语言模型对我们的意图的理解以及生成内容的能力，在合成和真实数据集上的实验证明该方法显著提升了性能。

    Jan, 2024