ZeroGen：通过数据集生成高效的零样本学习
本文提出了一种渐进式的零样本数据集生成框架（ProGen），该框架利用任务特定模型的反馈通过上下文示例来指导生成新的训练数据，实验结果表明该方法在五个文本分类数据集上有效，并与没有上下文反馈的基线方法相比，只有 1％的合成数据大小就可以达到与其相当或更好的性能。
Oct, 2022
本研究提出了一种新颖的方法，通过生成适用于任意领域的数据集来实现小型任务模型的领域通用性，从而提高数据集生成模式的实际应用性。实验证明，该方法在使用比预训练语言模型小数个数量级的参数集的情况下，实现了在各种领域的泛化能力。
May, 2024
基于数据生成的零样本学习通过由预训练语言模型生成的合成数据集对小任务特定模型进行训练，虽然有效果，但往往受到合成数据集质量低的限制。本文提出了 FuseGen，一种基于数据生成的零样本学习框架，通过利用多个预训练语言模型和训练过的小任务特定模型，在合成数据集中引入了一种新的子集选择标准，从而提供了上下文反馈，通过迭代数据生成增强了数据集质量。本方法在各种任务上的广泛实验证明，相较于现有方法，FuseGen 显著提升了小任务特定模型的性能，且不依赖于预训练语言模型。代码可在提供的链接中获得。
Jun, 2024
该文章探讨了零标签学习在自然语言处理中的应用，介绍了基于预训练语言模型的一种新方法 Unsupervised Data Generation，能够生成高质量的训练数据，无需人工标注。该方法使得用不带标签的数据训练具体任务的模型成为可能，并且当与带标签的数据混合使用时，能实现高效的数据增强，并达到了 SuperGLUE 基准测试的新最优结果。
Sep, 2021
Gen-Z 是一种用于零食文本分类的生成提示框架，通过在标签的自然语言描述上依赖语言模型的可能性来改善任务性能，并在多个标准分类基准上展现了优越性能。
Nov, 2023
本研究提出了一个检索增强的框架，使用特征描述性词语作为 dense retriever，从无标注的语料库中创建训练数据，以便在与基于大型自然语言生成模型相比节省 70% 的时间内，取得优于最强基线 4.3% 的成绩。
May, 2023
本文研究了使用自然语言实现零样本模型对新任务的自适应性，通过社交评论平台的文本和元数据作为简单的预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广，克服了多任务分类的缺点，在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，这为文本问题的新元学习策略指明了方向。
Dec, 2019
通过引入 ZeroG，一种新的框架，我们扩展了这种零样本迁移学习范式到图领域，以实现数据集间的泛化，减少特征不对齐、标签空间不匹配和负迁移等固有挑战，并通过使用语言模型对节点属性和类别语义进行编码，以确保数据集间的一致特征维度，并通过基于提示的子图采样模块丰富提取的子图的语义信息和结构信息，进一步采用轻量级微调策略降低过拟合风险，并保持语言模型的零样本学习能力。结果显示我们的模型在实现显著的跨数据集零样本迁移能力方面非常有效，为图基础模型的发展开辟了新的路径。特别地，ZeroG 作为一种零样本方法，甚至能在 Pubmed 上实现可与半监督学习相媲美的结果。
Feb, 2024
提出了一种零样本可控多模态文本生成模型 ZeroGen，将文本和图像联合在解码过程中加权相加，通过动态权重机制调节交叉模态权重来实现多模态控制。模型在三个下游任务中的表现超越了同类模型，表现出良好的可控性和潜力。
Jun, 2023