预训练模型的排名和调整：开发模型中心的新范式

Oct, 2021

预训练模型的排名和调整：开发模型中心的新范式

Ranking and Tuning Pre-trained Models: A New Paradigm for Exploiting Model Hubs

Kaichao You, Yong Liu, Ziyang Zhang, Jianmin Wang, Michael I. Jordan...

TL;DR本文提出了一种新的模型中心的利用范式，该范式既考虑了模型的性能，又避免了计算负担和统计过拟合问题。该方法使用证据最大化程序对预训练模型提取的特征进行评估并排名所有预训练模型，然后利用贝叶斯程序进行调优。该过程不仅适用于同构预训练模型的调优，而且还适用于异构预训练模型的调优。

Abstract

model hubs with many pre-trained models (PTMs) have become a cornerstone of deep learning. Although built at a high cost, they remain \emph{under-exploited} -- practitioners usually pick one PTM from the provided

pre-trained models model hubs fine-tuning evidence maximization b-tuning

发现论文，激发创造

快速调整：快速学习如何微调和选择预训练模型

该论文提出了一种方法，联合搜索最佳预训练模型和微调的超参数，建立了一个大规模元数据集，通过元学习方法基于此进行多保真度性能预测器，快速优化新数据集的超参数，最终得到一个精准的预训练模型和其最优超参数。

Jun, 2023

Y-Tuning：一种通过标签表示学习进行大规模预训练模型高效调整的新兴范式

本文提出了一种高效的 Y-Tuning 方法，用于将已经训练好的大规模模型应用于特定的下游任务，通过对特定任务标签的学习，对大规模 PTMs 进行有效的适应，实现了在 GLUE Benchmark 上 96％以上的性能表现与 2％可调参数和更少的训练成本。

Feb, 2022

黑盒大型预训练模型的高效联邦迁移调整

基于预训练模型，提出了一种去中心化的黑盒提示调整方法，解决了内存约束和数据隐私问题，并在 CV 和 NLP 任务上进行了全面评估。

Oct, 2023

预训练模型：过去、现在和未来

本文全面介绍了预训练模型的历史、最新成果以及未来的研究方向，旨在推进预训练模型应用于下游任务的发展。

Jun, 2021

HuggingFace 社区中深度学习模型重用的挑战、利益与趋势

模型复用方面，我们通过一项综合的混合方法实证研究，通过关注讨论论坛和 HuggingFace 模型中心，提出了一种挑战和益处的分类法，并进行了定量研究以追踪模型类型趋势和模型文档的演变。

Jan, 2024

微调预训练模型的稳定性分析

通过理论稳定性分析和提出的新策略，解决预训练模型微调在同样设置下性能稳定性差异问题。

Jan, 2023

元学习以提升预训练

通过元学习，本文提出了一种基于梯度的高效算法，可以优化预训练超参数，改善了在蛋白质相互作用图和心电图数据上的预测性能。

Nov, 2021

利用模型仓库 ZooD 实现超出分布常规化

本文提出了一种针对预训练模型的评估和组合范式，其中采用特征选择方法排名预训练模型，并将排名最高的模型聚合为目标任务的模型，最终在 35 种模型上展示了该方法的效果。

Oct, 2022

多任务大模型设备调优

本文提出了 Device Tuning 方法来提高自注意力模型的计算效率，并通过压缩表示减少设备与云端之间的通信，有效支持多任务学习。

Feb, 2023

软件工程任务中参数高效微调的综合评估

基于预训练模型的参数高效调整方法在软件工程领域的效果与效率的全面评估研究。

Dec, 2023