Mar, 2022

Delta 调参：针对预训练语言模型的参数高效方法的全面研究

PDF
TL;DR本文首先正式描述了 delta tuning 的问题，然后全面审查了最近的 delta tuning 方法，并提出了一个统一的分类标准，将现有的 delta tuning 方法分为三组：基于加法、基于规范和基于重新参数化的方法。最后，我们对代表性方法进行了全面的实验研究，100 多个 NLP 任务的结果表明了不同方法的综合表现比较。
plmsdelta tuningfine-tuninglarge-scale modelsnlp tasks
发现论文，激发创造
  • 不同曲调同等技巧演奏：探索一个用于 Delta 调制的统一优化子空间

    通过研究 Delta tuning 的最新模型，我们提出一种用于连接不同模型的统一优化子空间的低维优化参数的假设，并通过研究不同模型之间的关联性，探究这一假设。我们发现，在这个假设下，不同的 Delta tuning 可以实现互相转移，并且在统一优化子空间中的性能显著。最后，我们证明了精调与 Delta tuning 之间的强关联性。

    Oct, 2022

  • OpenDelta: 面向参数高效调适的即插即用库

    本研究介绍了一个名为 OpenDelta 的开源库，通过提供多种增量调优方法的即插即用实现，解决了调优大型预训练模型在优化和存储成本上的挑战，从而使研究人员和实践者能够高效地适应大规模的预训练模型。

    Jul, 2023

  • 当联邦学习遇到预训练语言模型的参数高效调整方法

    本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

    Dec, 2022

  • AdapterGNN: 图神经网络中的有效 Delta 调整提升泛化能力

    本研究提出了一种新的 delta 调节方法（AdapterGNN），用于图神经网络，通过具有高度表现力的适配器实现对下游任务的适应，从而仅使用少量参数，在化学和生物领域分别超过了完全微调 1.4％和 5.5％。实验结果表明 AdapterGNN 达到了更高的评估性能，并在广义化程度方面比完全微调表现更好。

    Apr, 2023

  • 缩小规模以进行高效参数微调指南

    本文系统概述和比较了 40 多篇发表于 2019 年 2 月至 2023 年 2 月之间的参数高效微调方法，这些方法旨在通过仅训练小量参数来解决微调大型语言模型的不可行性和不实用性，提供了一种包括多种方法的分类方法，并重点关注实际效率和微调超大规模语言模型。

    Mar, 2023

  • 元学习差异性：为大型语言模型准备高效迁移

    该论文提出了一种通过学习区分微调和适应性 PLMs 的方法，使用动态低秩重参数化和学习结构控制器来实现数据和参数高效的自适应，并在对话完成、摘要生成等任务上展示出明显提升。

    Jul, 2022

  • 重新审视参数高效调整：我们已经到达目标了吗？

    本文对参数节省调整方法（PETuning）的训练和评估进行了首次全面调查。研究发现当前 PETuning 研究中存在问题的验证和测试方法，以及 PETuning 方法的不稳定性，导致结论不可靠。当在真正公平的评估协议下进行比较时，PETuning 无法产生一致的竞争性表现，而在中高资源设置中细调仍然是表现最佳的方法。本文深入探讨了 PETuning 方法的不稳定性原因，观察到可训练参数数量和训练迭代次数是两个主要因素：减少可训练参数和延长训练迭代次数可能会导致 PETuning 方法的稳定性更高。

    Feb, 2022

  • 预训练语言模型适应的基于转换器的调整方法的有效性研究

    本文研究了基于 Adapter 的微调方法。实验证明，对于某些具有挑战性的任务，Adapter-based tuning 方法比 fine-tuning 效果更好，并且更抗过拟合和更不敏感于学习率的变化。

    Jun, 2021

  • 面向参数高效的迁移学习统一视角

    本文提供了一个统一框架来探讨 NLP 中参数高效的迁移学习方法，将多种不同的方法重新构建为预训练模型中特定 hidden states 的修改，定义了一组设计维度以表明不同方法的变化方向，如计算修改的函数和应用修改的位置等。通过涵盖机器翻译、文本摘要、语言理解和文本分类基准的全面实证研究，识别了以前方法中的重要设计选择。此外，我们的统一框架使得设计元素可以在不同方法之间进行转移，从而实现了比以前更高效的 fine-tuning 方法。

    Oct, 2021

  • AlphaTuning: 大规模预训练语言模型的量化感知参数高效适应

    本研究旨在将后训练量化与仅对定向任务的一些部分进行量化的精细调整相结合，以使模型更加快速且效率更高，我们提出了 AlphaTuning 控制模型的大小，通过二进制编码量化、调整二进制参数和针对下游任务进行唯一的倍数调整，证明我们的方法在 11 种下游任务上使用 4 位或更高的量化精度时，仅使用总参数数量的 1/10 进行细调。

    Oct, 2022