预训练模型的中间任务迁移学习在自然语言理解中的应用：何时和为何有效？

ACLMay, 2020

预训练模型的中间任务迁移学习在自然语言理解中的应用：何时和为何有效？

Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work?

PDF

Yada Pruksachatkun, Jason Phang, Haokun Liu, Phu Mon Htut, Xiaoyi Zhang...

TL;DR对预训练模型 RoBERTa 进行 110 种中介 - 目标任务组合的大规模研究，发现需要高级推理和推理能力的中介任务最好。目标任务的表现与核心指代消解等高级能力密切相关，需要进一步研究广覆盖的评估基准。有证据表明，预训练过程中所学知识的遗忘可能限制了我们的分析，需要进一步研究这些情况下的迁移学习方法。

Abstract

While pretrained models such as BERT have shown large gains across natural language understanding tasks, their performance can be improved by further training the model on a data-rich intermediate task, before fine-tuning it on a target task. However, it is still poorly understood when

pretrained models intermediate task training roberta model transfer learning coreference resolution

发现论文，激发创造

选择哪些高效的中间任务进行预训练？

通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

Apr, 2021

中间任务训练对于域自适应和跨语言迁移学习的（无）效性

本文分析了使用三种大型语言模型 BERT、RoBERTa 和 XLNet 在文本分类、情感分析、句子相似度三个自然语言处理任务上进行领域内和跨语言适应的迁移学习，并发现大多数任务直接进行微调而不进行中间任务训练可以获得更好的性能，而更广义的任务可能需要先进行中间任务训练。该工作有望成为 NLP 实践者进行迁移学习的指南。

Oct, 2022

中间任务训练提高零样本跨语言迁移能力

本研究主要研究在非英语任务上英语中间任务训练（Intermediate-task training）是否有助于跨语言理解学习迁移，通过在 XTREME 基准测试上得到大幅度的改进，我们的最佳模型超过了 XLM-R Large，成为 2020 年 6 月的最新技术水平，并对多语言 MLM 和机器翻译的中间任务数据进行了探讨。

May, 2020

预训练语言模型的可转移性研究

研究了语言模型预训练对迁移学习的帮助，引入了一种部分重新初始化的技术来测量每个预训练层对迁移学习效果的影响。结果表明在 BERT 中，对于下游 GLUE 任务性能高的层并不是必要的，也不足以保证高准确性，与此同时，当微调数据较少时，参数提供的效果会显著降低，这些结果强调了迁移学习的复杂性和方法的局限性。

Apr, 2020

重新思考中间任务微调为什么奏效

通过对于不同的实验结果的分析发现中间微调任务对于整个 STILTs 的流程中非常重要

Aug, 2021

基于可转移 BERT 的故事结局预测

本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

May, 2019

研究预训练语言模型在跨领域数据集上，更接近通用人工智能的一步

本文研究了预训练语言模型在领域任务泛化能力方面的能力，发现预训练模型在计算机视觉、蛋白质折叠预测等任务中表现出色，优于从头开始训练模型，并指出预训练嵌入在输入层非常重要。

Jun, 2023

探索和预测 NLP 任务的可转移性

本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

低资源领域适应的多阶段预训练

本文研究使用预训练语言模型的转移学习、领域特定术语扩展词汇表以及利用未标记数据结构创造辅助合成任务等方法，在 IT 领域的三个任务中，采用逐步应用的策略在预先训练的 Roberta-large LM 上显示出显着的性能提升。

Oct, 2020

是否预训练：探究在资源丰富任务中预训练的益处

本文研究预训练自然语言处理模型在下游任务中使用的训练样本数量与性能之间的关系，研究发现，随着训练样本的数量达到百万级别，使用 BERT 预训练模型和从头开始训练的 LSTM 模型之间的准确度差距缩小到不到 1％，暗示随着监督数据规模的增大，MLM 模型可能会达到递减的收益点。

Jun, 2020