本研究提出了 AutoFreeze 系统，通过自适应选择训练的层并设计了两种执行模式，实现了在保持模型准确性的同时加速 fine-tuning，使用缓存技术在单个 GPU 上能够改善 fine-tuning 的速度达到最多 2.55 倍，在 64 个 GPU 集群上的 fine-tuning 速度达到最多 4.38 倍，并实现了 5.03 倍的总成本降低。

Feb, 2021

该论文提出了一种名为 SpFDE 的通用框架，通过采用稀疏训练、层冻结、数据筛选等技术，可以有效地降低训练成本并保持准确性。

Sep, 2022

本文介绍了一种跳过计算和通信过程的深度神经网络培训方法，采用层冻结技术，通过量子化技术实时地生成参考模型，以达到评估每个层的训练效果并安全地冻结已经达到了期望的层的效果，从而获得 19% 至 43% 的培训速度提升。

Jan, 2022

在深度神经网络中，我们提出仅对隐藏层进行一定时期的训练，并逐层将它们冻结并排除在反向传递中，从而在 CIFAR 上进行实验，实现了 20% 的时间节省，3% 的 DenseNets 准确度损失，20% 的 ResNets 加速而无损失，并没有改善 VGG 网络的结果。

Jun, 2017

通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

Feb, 2020

本文介绍了一种创新的自监督学习方法，将局部遮罩图像建模与渐进层冻结相结合，以增强 Vision Transformers（ViTs）中初始层训练的效率和速度。通过在训练过程中在战略点冻结特定层，我们降低了计算需求，同时保持或提高了学习能力。我们的方法采用了一种新颖的多尺度重构过程，促进了初始层的高效学习以及跨尺度的语义理解。结果表明，与模型准确性的最小影响（top-1 准确度下降了 0.6%），我们的方法实现了训练时间的大幅减少（约 12.5%）。我们的方法分别达到了 82.6% 的 top-1 准确度和 96.2% 的 top-5 准确度，凸显了它在计算资源和时间至关重要的场景中的潜力。该工作标志着计算机视觉领域自监督学习的进步。我们的方法的实现可在我们项目的 GitHub 存储库上找到：github.com/utkutpcgl/ViTFreeze。

Dec, 2023

该研究基于神经科学先前知识和人工神经网络规则化的原则，提出了一种名为 “权重冻结” 的新型方法，该方法通过冻结神经网络中的某些部分，可显著提高脑电图中特定任务的分类精度，验证了权重冻结的有效性，并表明它比传统的全连接网络更为有效。

Jun, 2023

介绍了一种新的方法，即对联合学习模型的参数进行连续冻结和训练，以减少设备上的训练资源需求，同时仍允许足够的参数协同适应度，大大提高了训练模型的准确性和分布式设备的计算能力的高效汇集。

May, 2023

本研究提出了一种利用自监督学习进行连续学习的新方法，通过分析任务之间的相关性，提出了一种分层冻结的算法，可以显著提高模型的训练效率和内存效率。在多个数据集上的实验结果表明，该方法在多个指标上优于目前的状态 - of-the-art 自监督连续学习方法，且不会牺牲准确性。

Mar, 2023

本文介绍了 Sensitivity-Aware Finetuning (SAFT) 方法以提高模型精度，并使用该方法进行噪声注入训练，以冻结特定层来提高噪声敏感层的性能，结果表明 SAFT 可与噪声注入训练方法相媲美，并且速度快 2 倍至 8 倍。

Jun, 2023