快速调整：快速学习如何微调和选择预训练模型

Jun, 2023

快速调整：快速学习如何微调和选择预训练模型

Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How

Sebastian Pineda Arango, Fabio Ferreira, Arlind Kadra, Frank Hutter Josif Grabocka

TL;DR该论文提出了一种方法，联合搜索最佳预训练模型和微调的超参数，建立了一个大规模元数据集，通过元学习方法基于此进行多保真度性能预测器，快速优化新数据集的超参数，最终得到一个精准的预训练模型和其最优超参数。

Abstract

With the ever-increasing number of pretrained models, machine learning practitioners are continuously faced with which pretrained model to use, and how to finetune it for a new dataset. In this paper, we propose a methodology that jointly searches for the optimal pretrained model and t

pretrained models finetuning hyperparameter optimization image classification meta-dataset

发现论文，激发创造

元学习用于参数高效微调

本篇研究证明，考虑下游微调方法会提高轻量级微调技术的性能，通过使用 MAML 和优化元学习技术为轻量级微调方法进行预先训练，我们可以使受过训练的语言模型适合轻量级微调，从而在跨语言 NER 微调中获得高达 1.7 分的收益。

May, 2022

预训练模型选择在越界泛化与校准中的实证研究

我们的研究强调了预训练模型在微调中对于处理分布外泛化性能和推理不确定性的影响，结果突出了预训练模型选择的显着影响，证明了在算法选择方面的性能提高，大型模型表现更好，但记忆化和真正泛化之间的平衡仍需进一步研究，我们的研究强调了预训练模型选择对于提高分布外泛化性能的重要性。

Jul, 2023

预训练模型的零样本自动机器学习

该论文提出了将 AutoML 扩展到选择适合新数据集的预训练模型和微调超参数等问题，通过元学习的零样本模型选择合适的 DL 模型，对比 ChaLearn AutoDL 挑战赛中的其他竞争者，得到了显著的表现。

Jun, 2022

重新审视微调的超参数

该研究从实验评估中重新审视了微调的超参数几个通用实践，发现动态学习参数不是一个很好探索的参数；发现微调的最佳超参数不仅与数据集相关，还与源域和目标域的相似性敏感；发现参考基于的规则化方法可能不适用于 “不相似” 的数据集。这些结论挑战了微调的常见实践，并鼓励深度学习从业者重新思考微调的超参数。

Feb, 2020

元学习以提升预训练

通过元学习，本文提出了一种基于梯度的高效算法，可以优化预训练超参数，改善了在蛋白质相互作用图和心电图数据上的预测性能。

Nov, 2021

模型搜索科学化

本研究提出了一种元模型方法，支持自动化超参数优化，以取代手动调试，实现易复制和公正的优化过程，并在三个不同的计算机视觉问题上获得了最新的结果。

Sep, 2012

muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％以上的参数。

May, 2022

预训练语言模型微调中超参数优化的实证研究

本文研究了模型微调和超参数优化的关系，并提出了两种一般策略以及一个实验流程，以系统地解决超参数优化在微调预训练语言模型时的失败案例。通过实验，我们发现在更适当的搜索空间和时间预算设置下，超参数优化可以取得成功，但在某些情况下，过拟合仍然存在。

Jun, 2021

预训练模型的排名和调整：开发模型中心的新范式

本文提出了一种新的模型中心的利用范式，该范式既考虑了模型的性能，又避免了计算负担和统计过拟合问题。该方法使用证据最大化程序对预训练模型提取的特征进行评估并排名所有预训练模型，然后利用贝叶斯程序进行调优。该过程不仅适用于同构预训练模型的调优，而且还适用于异构预训练模型的调优。

Oct, 2021

通过元启发式微调改善预训练权重

使用启发式元算法优化预训练权重可改善机器学习分类任务的结果。

Dec, 2022