用于零样本泛化的通用判别器
提出了使用零样本学习的方法在大语料库上训练模型来学习语句和其标签之间的关系,以实现模型对未知语句和标签的预测,并报告在三个不同数据集上的实验结果,该方法是自然语言处理中通向智能化的一步。
Dec, 2017
本文研究了使用自然语言实现零样本模型对新任务的自适应性,通过社交评论平台的文本和元数据作为简单的预训练任务,并提供分类任务的自然语言描述作为输入训练语言模型,以生成正确答案的方式进行自然语言的模型推广,克服了多任务分类的缺点,在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型,结果显示语言可以作为任务自适应的简单而强大的描述符,这为文本问题的新元学习策略指明了方向。
Dec, 2019
在标准监督学习设置中,假设训练数据和测试数据来自相同的分布(领域)。领域泛化(DG)方法旨在学习一个模型,该模型在多个领域的数据上训练时可以推广到新的未见领域。我们将DG扩展到了一个更具挑战性的领域,其中未知领域的标签空间也可能发生变化。我们将此问题称为零射领域泛化(据我们所知,这是第一个这样的尝试),其中模型不仅可以在新的领域之间推广,还可以在这些领域中的新类之间推广。我们提出了一种简单的策略,该策略有效地利用了类的语义信息,以使现有的DG方法满足零射领域泛化的要求。我们在CIFAR-10、CIFAR-100、F-MNIST和PACS数据集上评估了所提出的方法,为这个新的研究方向奠定了坚实的基础。
Aug, 2020
本文提出了一种简单的方法,使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据,其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法,在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8,以及在 SST-2 上的 92.8),相对于零样本提示方法,甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时,采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。
Feb, 2022
本文研究了一种灵活高效的零样本学习方法-零样本生成(ZeroGen),基于预训练语言模型(PLMs)无监督生成数据集,并使用该数据集训练小型模型进行任务处理,从而实现高效推理。实验和分析表明, extsc{ZeroGen}在文本分类、问答和自然语言推理等NLP任务中的有效性。
Feb, 2022
通过大规模模型比较和实验验证,本文发现预训练的 Transformer 模型在自然语言处理任务的零样本泛化能力中,部分结构和预训练目标优于其他模型,这为模型架构和目标选择提供了指导。同时,本文研究了预训练模型跨结构和目标的迁移,并提供源代码和检查点。
Apr, 2022
本文针对广义零样本学习领域内的生成模型方法进行了探究和拆解,并提出了基于类级别和实例级别分布的属性泛化及部分偏置数据的独立分类器学习方法。实验证明本文提出的方法在公共数据集上性能优于当前最先进算法,同时该方法即使没有生成模型仍然有效,这是对生成-分类器结构的进一步简化。
Apr, 2022
本篇论文提出一种新的零样本学习范式,其适用于任何格式,并适用于一系列语言任务,如文本分类、常识推理、指代消解和情感分析,并将零样本学习转化为多选任务,从而避免大规模生成模型的问题。该方法不仅增加了模型的推广能力,而且显著减少了参数的数量,同时具有高效的训练和部署特点。经实验结果表明,该方法在多个基准测试中表现卓越,且仅使用了 235M 的参数,远小于拥有十亿参数的现有先进模型。
Oct, 2022
RoboShot是一种完全零样本的方法,通过利用零样本语言模型(LMs)从任务描述中获得有用的见解,以优化预训练模型嵌入的健壮性,从而解决了预训练模型的继承偏差问题,并在九个图像和自然语言处理(NLP)分类任务上展示了15.98%的平均改进。
Sep, 2023