预训练模型选择在越界泛化与校准中的实证研究

Jul, 2023

预训练模型选择在越界泛化与校准中的实证研究

An Empirical Investigation of Pre-trained Model Selection for Out-of-Distribution Generalization and Calibration

Hiroki Naganuma, Ryuichiro Hataya

TL;DR我们的研究强调了预训练模型在微调中对于处理分布外泛化性能和推理不确定性的影响，结果突出了预训练模型选择的显着影响，证明了在算法选择方面的性能提高，大型模型表现更好，但记忆化和真正泛化之间的平衡仍需进一步研究，我们的研究强调了预训练模型选择对于提高分布外泛化性能的重要性。

Abstract

In the realm of out-of-distribution generalization tasks, finetuning has risen as a key strategy. While the most focus has been on optimizing learning algorithms, our research highlights the influence of

out-of-distribution finetuning pre-trained model performance metrics model selection

发现论文，激发创造

快速调整：快速学习如何微调和选择预训练模型

该论文提出了一种方法，联合搜索最佳预训练模型和微调的超参数，建立了一个大规模元数据集，通过元学习方法基于此进行多保真度性能预测器，快速优化新数据集的超参数，最终得到一个精准的预训练模型和其最优超参数。

Jun, 2023

无监督预训练的泛化能力研究

运用一种新的理论框架，研究无监督预训练对细调模型泛化能力的影响，并通过分析两个具体场景的泛化上限，提出了一种新的预训练正则化方法，从而促进了细调模型的泛化能力。

Mar, 2024

询问您的分布偏移是否适合预训练

该研究旨在界定预训练在处理数据分布偏移时可以解决的失败模式，发现预训练可以缓解数据外推问题，但对数据集偏见无效；研究结果指出，预训练和干扰同时使用可以增加模型的鲁棒性，也发现在小规模、非多样但去除偏见的数据集上进行微调可以得到比在大规模和多样但有偏见的数据集上进行微调更加鲁棒的模型。

Feb, 2024

在微调预训练模型中消除偏见以提升公平性和效率

通过引入一种有效且鲁棒的微调框架来解决在新任务上进行预训练模型微调可能导致不公平结果的问题，该框架中融合了权重重要性中和策略和矩阵因子分解技术，通过实验验证了其有效性。

Mar, 2024

转移学习中的越界泛化测量

本研究探讨了如何测量和改善模型的鲁棒性，并提供了五个包括准确性、校准误差、对抗攻击、环境不变性和综合污染的数据集对深度学习网络进行了分析与比较，发现鲁棒性的提升与具体数据集相关，且关系更为复杂。

Jul, 2022

基于不变性的视觉 Transformer 微调过程研究

本文旨在研究预训练与微调之间的关系，提出了一系列度量指标，探讨了预训练模型中不变性的传递性、微调过程中对不变性的保留与丢失、以及预训练模型在下游任务中的表现和变化。

Jul, 2023

走向科学机器学习的基础模型：特征缩放与转移行为表征

研究表明，预训练模型可以应用于科学机器学习任务中的迁移学习，可在细调适当的预训练模型下，以比从头开始训练少得多的下游示例实现期望的准确度水平。模型的规模越大，用 fine-tuning 方法会获得更好的性能提升，这为 SciML 问题的建模奠定了基础。

Jun, 2023

有阅读素养的学生学习更好：关于预训练紧凑模型的重要性

本文研究自然语言表示、模型压缩技术、预训练、微调和知识蒸馏等方面的互动关系，提出了一种简单而有效的预训练蒸馏算法，分析了模型大小和无标记任务数据属性对其的影响。

Aug, 2019

從原則出發的數據選擇，為 LLMs 的預熱微調提供更多、花費更少

使用无标签开放数据进行预精调预训练语言模型以最小化领域特定数据需求，并在达到预期性能水平的同时选择数据以将预训练分布推向目标分布的优化方法，展示了该方法在各种任务中的优越性和快速性，为经济高效的微调奠定了基础。

May, 2024

用校准语言模型微调在内部和外部分布数据

本文提出了一种经过正则化的 fine-tuning 方法，通过在数据流形内插值产生假样本，加强 In-distribution 采样的平滑性；同时通过在采样流形外的假样本输出平均分布的方式来提高 OOD 数据的可靠性，实验证明了该方法的有效性。

Oct, 2020