Feb, 2021

AutoFreeze：自动冻结模型块以加速微调

PDF
TL;DR本研究提出了 AutoFreeze 系统，通过自适应选择训练的层并设计了两种执行模式，实现了在保持模型准确性的同时加速 fine-tuning，使用缓存技术在单个 GPU 上能够改善 fine-tuning 的速度达到最多 2.55 倍，在 64 个 GPU 集群上的 fine-tuning 速度达到最多 4.38 倍，并实现了 5.03 倍的总成本降低。
发现论文，激发创造
  • SmartFRZ：一种利用基于注意力的层冻结的高效训练框架

    通过注意力引导的冻结层方法在模型训练中智能地选择适当的层进行冻结，以提高训练效率并在时间上取得显著加速，从而优于现有的层冻结方法。

    Jan, 2024

  • 通过模型冻结加速深度学习推理

    通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

    Feb, 2020

  • 如何操作？在 Transformer 微调期间冻结图层

    本文研究使用预训练的 transformer-based 语言模型 BERT 和 RoBERTa 在文本关系、语义相似性、情感分析和语言可接受性等标准任务中微调不同层数的效果，结果表明微调最后一层的四分之一即可达到 90% 的原始质量，微调所有层并不总是有更好的效果。

    Nov, 2019

  • FreezeOut: 逐渐冻结层以加速训练

    在深度神经网络中，我们提出仅对隐藏层进行一定时期的训练，并逐层将它们冻结并排除在反向传递中，从而在 CIFAR 上进行实验，实现了 20% 的时间节省，3% 的 DenseNets 准确度损失，20% 的 ResNets 加速而无损失，并没有改善 VGG 网络的结果。

    Jun, 2017

  • 边缘上 BERT 模型的高效微调

    本研究提出了一种名为 “Freeze And Reconfigure (FAR)” 的训练方案，用于在资源受限的设备上以较小的存储空间和时间成本优化 BERT 模型。实验结果表明，采用 FAR 训练方案的 DistilBERT 模型在 CoLA 数据集上可以将 fine-tuning 时间降低 30％，节省 47％的存储操作时间，GLUE 和 SQuAD 等数据集上的度量性能平均降低约 1％。

    May, 2022

  • SlimFit: 使用训练动态的 Transformer-based 模型的高效内存微调

    SlimFit 可将 Transformer-based 模型的 GPU 内存需求减少至 2.2 倍，动态分析训练动态并在 fine-tuning 期间冻结一部分层，可用于 NLP 和 CV 任务。

    May, 2023

  • 站在巨人冻结语言模型的肩膀上

    提出了三种新方法：依赖输入的提示调整、固定读者和递归 LM，这些方法广泛改进了当前的固定模型方法。虽然每种方法的计算成本比现有的固定模型方法高，但仍然可以忽略不计，而且这些方法证明了固定模型具有未开发的潜力，而精细调整往往是不必要的。

    Apr, 2022

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 面向预训练代码模型的高效微调：实验研究及其发展方向

    该研究通过分层预训练表示的实验研究发现了不同层数与源代码信息的关系，从而提出了 Telly 技术，通过层冻结来有效地微调预训练代码模型，从而降低了学习参数和时间成本。

    Apr, 2023

  • 基于语义的层冻结方法：高效微调语言模型

    通过对语言模型推理过程进行语义分析，我们提出了在层级上进行参数微调的方法，通过估计每个模型层的微调效果以及缩小微调的范围，我们的方法在 LM 微调中表现出有效且高效的特点。

    Jun, 2024