Jun, 2024

FuseGen: 基于数据生成的零样本学习的 PLM 融合

PDF
TL;DR基于数据生成的零样本学习通过由预训练语言模型生成的合成数据集对小任务特定模型进行训练，虽然有效果，但往往受到合成数据集质量低的限制。本文提出了 FuseGen，一种基于数据生成的零样本学习框架，通过利用多个预训练语言模型和训练过的小任务特定模型，在合成数据集中引入了一种新的子集选择标准，从而提供了上下文反馈，通过迭代数据生成增强了数据集质量。本方法在各种任务上的广泛实验证明，相较于现有方法，FuseGen 显著提升了小任务特定模型的性能，且不依赖于预训练语言模型。代码可在提供的链接中获得。
data generationzero-shot learningsynthetic datasetspre-trained language modelsdistribution bias
发现论文，激发创造
  • 自导噪声无数据生成的高效零样学习

    本文提出了一种名为 SunGen 的噪声鲁棒根据权重重新加权框架来自动构建零 - shot 分类问题中的高质量数据，有效提高了模型的性能和效率。

    May, 2022

  • ZeroGen：通过数据集生成高效的零样本学习

    本文研究了一种灵活高效的零样本学习方法 - 零样本生成（ZeroGen），基于预训练语言模型（PLMs）无监督生成数据集，并使用该数据集训练小型模型进行任务处理，从而实现高效推理。实验和分析表明， extsc {ZeroGen} 在文本分类、问答和自然语言推理等 NLP 任务中的有效性。

    Feb, 2022

  • ProGen: 利用上下文反馈逐步实现零样本数据集生成

    本文提出了一种渐进式的零样本数据集生成框架（ProGen），该框架利用任务特定模型的反馈通过上下文示例来指导生成新的训练数据，实验结果表明该方法在五个文本分类数据集上有效，并与没有上下文反馈的基线方法相比，只有 1％的合成数据大小就可以达到与其相当或更好的性能。

    Oct, 2022

  • 调整语言模型作为训练数据生成器，用于增强少样本学习

    本文从不同的角度研究 PLM 的 few-shot 学习，通过调参后作为生成器合成了大量的新训练样本，使用加权最大似然度量进行训练以鼓励生成器生成分类标签的样本，并使用正则化 fine-tuned 在小样本和合成样本上取得了比现有 few-shot 学习方法更好的结果，GLUE 基准测试中超过无增加方法 5 + 平均点数和增加方法 3 + 平均点数。

    Nov, 2022

  • UniGen：通用领域泛化情感分类的零样本数据集生成

    本研究提出了一种新颖的方法，通过生成适用于任意领域的数据集来实现小型任务模型的领域通用性，从而提高数据集生成模式的实际应用性。实验证明，该方法在使用比预训练语言模型小数个数量级的参数集的情况下，实现了在各种领域的泛化能力。

    May, 2024

  • 利用语言模型生成训练数据：走向零样本语言理解

    本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

    Feb, 2022

  • 使用预训练语言模型生成数据集

    本文介绍了一种利用预训练语言模型生成标注文本数据集的方法，从而实现高质量的无监督学习得到的句子嵌入。实验结果表明，这种方法在多个语义文本相似性测试数据上实现了比较好的性能表现。

    Apr, 2021

  • 零样本数据到文本生成的神经管线

    本文利用预处理语言模型进行通用领域训练，使用由维基百科构建的 WikiFluent 数据集，在 WebNLG 和 E2E 数据集上进行实验证明，使用单个项目描述生成 D2T 是可行的，且可以从 RDF 三元组中完成零 - shot D2T 生成。

    Mar, 2022

  • TarGEN：大型语言模型的有针对性数据生成

    通过使用 TarGEN 多步提示策略来生成高质量的合成数据集，结合自校正方法增强语言模型生成过程中的准确性，从而创建复杂和多样的基准测试数据集。

    Oct, 2023

  • Genixer: 赋予多模态大型语言模型强大的数据生成能力

    通过创新的数据生成方法，Genixer 可以为不同任务生成高质量的多模态指令调整数据，从而改进现有的大型语言模型，在图像字幕和视觉问答等任务中取得了最先进性能，并为跨领域的创新应用提供了可能。

    Dec, 2023