ICLROct, 2021

LFPT5：基于 T5 提示调整的终身 Few-shot 语言学习统一框架

PDF
TL;DR本论文提出了一种基于 T5 模型的统一框架 LFPT5，它可以在少量标注样本的情况下解决 Lifelong Few-shot Language Learning 问题，通过生成伪样本、在新领域中训练以及最小化 KL 散度损失实现了对之前学习的领域的防遗忘，同时能够适应不同类型的任务，并在不同的 Lifelong Few-shot Language Learning 环境中显著优于之前的方法。
lifelong language learningfew-shot learningt5data generationlabel consistency
发现论文，激发创造
  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类

    在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

    Sep, 2023

  • 适应缺少样本的自然语言生成的比例调优

    本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

    Sep, 2023

  • FPT：用于少样本可读性评估的特征提示调整

    我们提出了一种新的基于提示的调优框架，称为特征提示调优（FPT），它结合了丰富的语言知识，通过从文本中提取语言特征并将其嵌入可训练的软提示，进一步设计了一种新的损失函数来校准类别之间的相似度排名顺序，实验证明我们的方法在诸多方面均显著提高了性能，并超越了先前引入语言特征的方法以及大型语言模型 gpt-3.5-turbo-16k。我们的方法为提示调优建立了一种新的体系结构，并为如何轻松调整语言特征来适应与语言相关的任务提供了指导。

    Apr, 2024

  • 使用指令微调语言模型的自动化少样本分类

    通过使用指导微调的语言模型，构建了一个用于 few-shot 学习的方法，名为 AuT-Few，该方法可以自动选择适合的任务指令，并实现了较强的 prompt 稳健性和良好的分类性能。

    May, 2023

  • 重新审视自训练用于语言模型的小样本学习

    本研究介绍了一种最先进的基于提示的少样本学习器 ——SFLM，该模型使用自训练技术来对语言模型进行微调，仅依赖于少量未标记的领域内数据，并在句子分类和句子对分类基准任务上优于其他最先进的监督和半监督对手。

    Oct, 2021

  • 针对少样本文本分类的统一提示调整

    该论文提出了一种统一的 Prompt Tuning (UPT) 框架，通过从非目标自然语言处理数据集中明确捕获提示语义，使 BERT 风格模型在少样本文本分类方面取得更好的性能，该框架引入了一种新的编程范例 Prompt-Options-Verbalizer，强制 PLMs 捕获任务不变提示知识，经过多任务学习后，该模型可以更好地针对任何不同的低资源任务进行提示调整。

    May, 2022

  • 用对比提示调整使预训练语言模型成为端到端的小样本学习模型

    CP-Tuning 是第一个无需手动工程任务特定提示和说明符进行微调的端到端对比提示调整框架，它与任务不变的连续提示编码技术和完全可训练的提示参数相集成。

    Apr, 2022

  • Few-Shot Bot: 基于提示的对话系统学习

    本文探讨了通过基于提示的少样本学习在对话任务中的应用，通过对多种大小的语言模型进行测试，提出一种新的无需微调的提示分类器，并结合技能选择器创建了一种称为 Few-Shot Bot 的端到端聊天机器人，只需使用少量对话示例便可以完成知识检索并生成人类般自然的响应。

    Oct, 2021

  • PERFECT：语言模型下基于 Few-shot 的自动学习算法

    本研究提出了一种名为 PERFECT 的方法，该方法能够高效地进行少样本学习，无需手动构造提示信息，仅需少量数据即可完成微调，其基于任务适配器和新型多令牌标签嵌入的设计选择，优于现有的先进方法，并且可在多种自然语言处理任务上得到验证。

    Apr, 2022