Aug, 2022

Few-shot 适应在不确定数据中的应用

PDF
TL;DR该研究发现将预训练语言模型 (LMs) 应用于许多具有多样性任务的训练可提高少量任务学习（FSL）模型的性能。作者从互联网表格中提取了 413,299 个任务并证明其中的一些数据集能更好地用于 NLP 任务的 FSL 模型中。
language modelsfew-shot learningnatural language processinginternet tablessoftware documentation
发现论文，激发创造
  • 基于大型语言模型的高效少样本临床任务适应

    通过部分冻结的简单微调变体和上下文化标签，提出了一种在有限样本大小下超越传统微调方法的方法，从而显著提高了医学图像的语义嵌入区分度，使得在 1-shot 设置下与常用的 one-hot 标签和其他语义监督方法相比性能提高了 3%-5%。

    Dec, 2023

  • 元任务：元学习正则化的另一种视角

    该论文提出了一种新颖的解决方案，可以在有限标注数据情况下，能够在训练和新任务中进行有效泛化，并利用未标注样本进行元任务实施未监督技术，实验结果表明该方法在新任务和训练任务中表现良好，并具有更快，更好的收敛性，较低的泛化和标准差误差，表明其在少样本学习中的潜在实际应用能力。该方法的实验结果超过了原型网络 3.9%。

    Feb, 2024

  • 精调语言模型是零 - shot 学习器

    通过对自然语言指令模板中的 60 个自然语言处理任务进行调整，我们将一个 137B 预训练语言模型调整为 FLAN 并在未看见的任务数据上进行评估，结果表明，通过指令调整，可以大大改善它在未看见任务上的性能并在 20 个任务上超越了 175B GPT-3 的零样本性能。

    Sep, 2021

  • 如何以少量样本微调模型：更新，数据增强和测试时间增强

    本研究基于转移学习方法探究预训练模型在少样本学习任务下的迁移，比较全微调和线性探测两种常用的更新方法，并研究数据增强和测试时间增强对少样本性能的影响。结果表明，针对不同的数据和任务性质选择不同的迁移和增强方法能提高多样性能。

    May, 2022

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 推动简单管道在少样本学习中的极限：外部数据与微调的作用

    本研究通过使用神经网络架构、外部数据预训练和很少有标签的数据进行微调的三阶段流水线，探索了少样本学习的问题。研究发现，使用 transformer 的简单流水线在 Mini-ImageNet，CIFAR-FS，CDFSL 和 Meta-Dataset 等数据集上获取了惊人的表现。

    Apr, 2022

  • FSL 模型得分更高

    通过图像转换生成样本，并在生成的样本上进行分类，可以提高 few-shot-learning 模型在测试阶段的性能。

    Feb, 2024

  • 使用跨任务最近邻实现高效数据微调

    本文提出了一种基于多任务数据池的语言模型训练方法，通过对少量未标记的目标任务实例进行最近邻匹配和筛选，以此选择有助于目标任务训练的数据，此方法在数据利用率、性能优化和基于少量训练样本下的效果提升方面表现良好。

    Dec, 2022

  • 基于 Prompt 的少样本学习在自然语言理解中对抗鲁棒性研究

    本篇研究对几种最先进的小样本学习方法进行了广泛的研究，以评估它们对敌对扰动的鲁棒性，结果表明相对于完全微调模型，普通的 Few-shot 学习方法在面对敌对扰动时表现出显著的下降，但使用（i）用于提示的未标记数据和（ii）多个提示扭转了这种趋势，并且增加少量样本的例数和模型大小可以增加其鲁棒性。

    Jun, 2023

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020