ACLMay, 2023

ReGen: 通过渐进式稠密检索生成训练数据进行零样本文本分类

PDF
TL;DR本研究提出了一个检索增强的框架，使用特征描述性词语作为 dense retriever，从无标注的语料库中创建训练数据，以便在与基于大型自然语言生成模型相比节省 70% 的时间内，取得优于最强基线 4.3% 的成绩。
发现论文，激发创造
  • ReGen：使用预训练语言模型的文本和知识库生成的强化学习

    本文介绍了一种使用双向文本和图形生成的深度强化学习方法，通过线性化图形，将图生成问题转化为序列到序列生成问题，我们通过一个广泛的实验，表明所提出的方法在 WebNLG+2020 和 TekGen 数据集上都表现优异，提高了 WebNLG+ 2020 的状态 - of-the-art 结果。

    Aug, 2021

  • ZeroGen：通过数据集生成高效的零样本学习

    本文研究了一种灵活高效的零样本学习方法 - 零样本生成（ZeroGen），基于预训练语言模型（PLMs）无监督生成数据集，并使用该数据集训练小型模型进行任务处理，从而实现高效推理。实验和分析表明， extsc {ZeroGen} 在文本分类、问答和自然语言推理等 NLP 任务中的有效性。

    Feb, 2022

  • 自导噪声无数据生成的高效零样学习

    本文提出了一种名为 SunGen 的噪声鲁棒根据权重重新加权框架来自动构建零 - shot 分类问题中的高质量数据，有效提高了模型的性能和效率。

    May, 2022

  • Re2G: 检索、排序、生成

    Re2G 利用神经检索和排名策略结合 BART 序列生成器，在零 - shot 填槽、问答、事实核查和对话等任务中取得了相对增益为 9% 至 34% 的较大提升，是目前 KILT 排行榜上最先进的模型。

    Jul, 2022

  • RetGen: 一个检索和基于生成式文本生成的联合框架模型

    通过联合训练基于语言模型信号的基于文档检索器的生成器及检索器来生成更具信息含量和相关性的文本。

    May, 2021

  • ProGen: 利用上下文反馈逐步实现零样本数据集生成

    本文提出了一种渐进式的零样本数据集生成框架（ProGen），该框架利用任务特定模型的反馈通过上下文示例来指导生成新的训练数据，实验结果表明该方法在五个文本分类数据集上有效，并与没有上下文反馈的基线方法相比，只有 1％的合成数据大小就可以达到与其相当或更好的性能。

    Oct, 2022

  • Gen-Z: 基于上下文化标签描述的生成式零样本文本分类

    Gen-Z 是一种用于零食文本分类的生成提示框架，通过在标签的自然语言描述上依赖语言模型的可能性来改善任务性能，并在多个标准分类基准上展现了优越性能。

    Nov, 2023

  • 关于零样本机器生成文本检测器稳定性的评估

    通过我们的研究，我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性，同时我们还探讨了话题转变对零样本检测方法的影响，揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。

    Dec, 2023

  • ZeroNLG: 零射击多模态和多语言自然语言生成的领域对齐和自编码

    该论文提出了一个直觉有效的零样本学习框架 ZeroNLG，它可以在英语、中文、德语和法语之间处理多个自然语言生成任务，包括图像到文本、视频到文本和文本到文本。该框架不需要任何标记的下游对来训练，并通过 bridging different domains and unsupervised multilingual auto-encoder 方法实现了目标句子在不同语言之间的生成。经过大量实验的验证，该框架生成的文本质量高，表现出色，优于现有的零样本方法。

    Mar, 2023

  • 利用生成语言模型进行零样本文本分类

    本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。

    Dec, 2019