May, 2020

语言模型是少样本学习器

PDF
TL;DR在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。
nlppre-trainingfew-shot learninglanguage modelsgpt-3
发现论文，激发创造
  • mGPT: 少样本学习器转向多语言

    本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

    Apr, 2022

  • 多语言语言模型的少样本学习

    本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

    Dec, 2021

  • 不止尺寸重要：小型语言模型也是少样本学习者

    该研究通过将文本输入转换为包含任务描述的填空问题，并结合梯度优化和利用未标记数据，成功地创造了小型语言模型，达到了与 GPT-3 相似的性能，为小型语言模型的成功应用提供了关键因素。

    Sep, 2020

  • 语言模型：少样本多语言学习者

    通过对 GPT 和 T5 模型进行跨语言分类，本论文发现预训练模型在少量英语样本的情况下可以预测非英语测试样本，且在跨语言预测方面表现显著优于随机预测，并与现有的最先进的跨语言模型具有竞争力。

    Sep, 2021

  • 让预训练语言模型成为更好的少样本学习者

    LM-BFF 提出了一种改进的面向小型语言模型的少样本 fine-tuning 方法以提升在多种 NLP 任务上的性能。通过与传统的 fine-tuning 方法相比，LM-BFF 组合的技术在低资源环境下具有显著改进，最高可达 30％，平均提高 11％。

    Dec, 2020

  • 以语言模型为少样本学习者的任务导向式对话系统

    本文探讨自然语言理解、对话状态跟踪、对话策略和自然语言生成这四个模块在少数据样本下学习的挑战，并评估了使用自然语言生成模型进行少样本迁移学习的效果和局限性，为未来研究提供了启示。

    Aug, 2020

  • 语言模型是少样本学习的管家

    使用预训练语言模型和简单的强化学习算法，无需大量专家示范即可在文本环境中操作并取得 51% 的成功率改进。

    Apr, 2021

  • 预训练语言模型用于简短文本自然语言生成

    该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

    Apr, 2019

  • 用 ChatGPT 打破银行壁垒：金融领域的少样本文本分类

    我们提出使用对话式 GPT 模型，在金融领域利用 Banking77 数据集进行简单快速的少样本文本分类。我们的方法涉及 GPT-3.5 和 GPT-4 的上下文学习，最小化技术专业知识的要求，消除了昂贵的 GPU 计算需求，同时产生快速准确的结果。此外，我们使用 SetFit 这一最新的对比学习技术对其他预训练的屏蔽语言模型进行微调，以在完整数据和少样本设置下实现最先进的结果。我们的研究结果显示，即使样本较少，查询 GPT-3.5 和 GPT-4 的性能也能超过非生成模型的微调。然而，这些解决方案的订阅费用可能对小型机构来说过高。最后，我们发现生成模型在给定任务中表现更好，当显示人工专家选择的代表性样本，而不是随机选择的样本时。我们得出结论：a）我们提出的方法为具有有限标签可用性数据集中的少样本任务提供了实用的解决方案，并且 b）我们的最先进结果可以激发该领域的未来研究。

    Aug, 2023

  • 大型语言模型是少样本临床信息提取器

    本文研究了如何使用大型语言模型在缺乏公共医疗语料库和注释的情况下，零和少样本学习从临床文本中提取信息，包括跨度识别、令牌级序列分类和关系提取。通过引入新的 CAS 数据集并进行手动再注释，GPT-3 系统在这些任务上明显优于现有的零和少样本基线。

    May, 2022