May, 2022

CoNT: 对比神经文本生成

PDF
TL;DR本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。
contrastive learningneural text generationcontgeneration taskstraining framework
发现论文，激发创造
  • 神经文本生成的对比框架

    提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

    Feb, 2022

  • CoCo: 在数据限制下利用对比学习增强一致性的机器生成文本检测

    本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型，用于检测低资源情况下的机器生成文本；该方法采用预训练模型和图神经网络将文本表示为连贯性图，并使用改进的对比损失函数应对数据限制挑战，实验结果表明 CoCo 方法优于现有的最先进的方法。

    Dec, 2022

  • HU 参加 SemEval-2024 任务 8A：对比学习能否学习嵌入以检测机器生成的文本？

    我们提出了一个基于对比学习的单一模型，通过数据增强和对比学习，在没有使用多个模型集合的情况下，达到与多模型相当的性能表现。

    Feb, 2024

  • 利用对抗扰动的对比学习实现条件文本生成

    该论文通过对比正负样本来缓解序列到序列模型中的条件文本生成问题，通过生成正负样本来引导模型更好地区分正确的输出和错误的输出，并提出了一种原则性的方法来生成正负样本，改进了机器翻译、文本摘要和问题生成等三个文本生成任务的泛化能力。

    Dec, 2020

  • 持续对比式口语理解

    通过结合经验回放和对比学习的组合方法 COCONUT，我们研究了在渐增式学习（CIL）设置中学习序列到序列模型用于口语理解的问题，并通过对基于重放样本的修改的标准监督对比损失，使 COCONUT 通过将相同类别的样本拉近并推开其他样本来保留学习到的表示。此外，我们还利用一种多模态对比损失，通过对齐音频和文本特征帮助模型学习更具辨别性的表示新数据。我们还研究了不同的对比设计，以将对比损失的优势与用于蒸馏的教师 - 学生架构相结合。在两个已建立的 SLU 数据集上的实验证明了我们提出方法的有效性，并且比基准模型有显著的改进。我们还表明 COCONUT 可以与在模型的解码器端操作的方法结合使用，从而进一步改进指标。

    Oct, 2023

  • ContrastNet：用于小样本文本分类的对比学习框架

    提出了一个名为 ContrastNet 的对比学习框架，来解决少样本文本分类问题中类间相似性引起的混淆和过拟合的问题。经实验证明该方法在 8 个少样本文本分类数据集上优于当前技术水平。

    May, 2023

  • Click: 带有序列似然对比学习的可控文本生成

    本文提出了一种名为 “Click” 的可控文本生成方法，不需要修改模型架构，利用序列似然的对比损失和新颖的似然排名策略，能够在有毒语言、情感倾向和文本重复等方面相比其他控制型生成模型有更好的性能。

    Jun, 2023

  • ContraGen：用于因果语言模型的有效对比学习

    本文提出了一种名为 ContraGen 的对比学习框架，用于解决语言生成过程中的表示限制问题，该框架可以显著提高表征的均匀性和区分性，改善语言理解和源代码生成的表现。

    Oct, 2022

  • 朝向连贯且凝聚的长文本生成

    本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

    Nov, 2018

  • 采用对比学习改进文本生成图像技术

    本篇论文提出一种基于对比学习方法的文本到图像合成框架，旨在提升合成图像的质量和语义一致性，通过对 pretraining 和 GAN training 阶段进行改进，该方法在两个流行数据集上的实验结果表明，相对于 AttnGAN 和 DM-GAN，能够显著提高合成图像的质量。

    Jul, 2021