Mar, 2019

调整还是不调整？将预训练表征适应于不同任务

PDF
TL;DR研究了预训练模型在给定目标任务中的最佳适应方式，着重探讨了 fine-tuning 和 feature extraction 两种常见的适应形式的相对性能，并提出了一组适用于 NLP 应用者的模型调整指南。
transfer learningpretraining objectivesadaptation guidelinesfine-tuningnlp tasks
发现论文，激发创造
  • 预训练表示的双调谐

    本文提出 Bi-tuning，一种细调深度学习模型的新方法，能同时利用监督和无监督预训练，并综合使用有标签数据的判别信息和无标签数据的数据结构，相较于现有策略，在精度上有了长足的提升。

    Nov, 2020

  • 如何为微调准备您的任务头

    通过分析任务头的选择对特征适应的控制，进而影响下游性能，我们发现精细调节一开始的训练准确度和损失，在初始能量的变化对精调后特征的效果有重大影响，最终证明高能量会增加特征的欧几里得和余弦距离，但点积（和精调后特征的范数）会先增加后下降，并提出了一些实际原则来提高下游性能。

    Feb, 2023

  • 基于通用表征的微调网络解决未知认知任务

    微调预训练语言模型在广泛的任务上展现出有希望的结果，但面对新任务时，它们更依赖于通用的预训练表示还是开发全新的任务特定解决方案？我们在一个与模型相关且来自神经科学文献的情境依赖决策任务上微调了 GPT-2，并将其性能和内部机制与从头开始训练的 GPT-2 版本进行了比较。我们的结果显示，微调模型在较后层次上严重依赖于预训练表示，而从头开始训练的模型则开发了不同、更具任务特定性的机制。这些发现突出了预训练在任务泛化中的优势和限制，并强调了进一步研究语言模型微调的任务特定机制的必要性。

    Jun, 2024

  • 预训练语言模型适应的基于转换器的调整方法的有效性研究

    本文研究了基于 Adapter 的微调方法。实验证明，对于某些具有挑战性的任务，Adapter-based tuning 方法比 fine-tuning 效果更好，并且更抗过拟合和更不敏感于学习率的变化。

    Jun, 2021

  • 使用预训练模型探索具有泛化性通识推理策略

    本篇论文研究如何通过三种不同的适应方法来影响模型的泛化和准确性，其中 fine-tuning 虽然能够更好地学习任务的内容和结构，但容易出现过拟合和泛化能力有限的问题，相比较而言，使用类似 prefix-tuning 的替代适应方法能够更好地适应未见过的答案，并且更加鲁棒。

    Sep, 2021

  • 预训练视觉模型的无损调整在机器人操作中的应用

    本文提出 “无损调适” 方案，以解决 fine-tuning 过程对预训练模型通用性的破坏，实验证明此方案在各种任务和模型（ViTs，NFNets 和 ResNets）上表现良好。

    Apr, 2023

  • 概念级微调对防止负面迁移的重要性

    通过概念微调（Concept-Tuning）方法，可以改善预训练模型的特征表示，减少罕见特征和虚假关联特征的负面影响，进而提高细调方法在各种数据集上的表现。

    Nov, 2023

  • 无监督预训练的泛化能力研究

    运用一种新的理论框架，研究无监督预训练对细调模型泛化能力的影响，并通过分析两个具体场景的泛化上限，提出了一种新的预训练正则化方法，从而促进了细调模型的泛化能力。

    Mar, 2024

  • Muppet: 带有预细调的大规模多任务表示

    本文提出了预细调（pre-finetuning）的方法，是在语言模型预训练和微调之间增加一个大规模学习阶段，旨在促进学习出更好地适用于许多不同任务的表示。通过大规模的多任务学习，预细调在广泛的任务中显著提高了预训练鉴别器和生成模型的性能，并显著提高了微调的样本效率。

    Jan, 2021

  • 选择哪些高效的中间任务进行预训练？

    通过 adapter fine-tuning 方法，有效地和高效地获取并选取 NLP 任务中的中间任务，从而在目标任务上实现更好的效果。

    Apr, 2021