本文提出了一种名为 LogME 的方法，用于评估预训练模型的转移学习性能，相对于基于粗暴的微调方法，LogME 方法在时空效率和内存使用上都有很大的提升，而且适用于不同类型的模型和任务。

Feb, 2021

通过对现有可迁移性估计方法的全面调查和基于 GLUE 基准的详细实证研究，我们展示了现有方法的优点和缺点，并证明了 H-Score 在有效性和效率方面具有卓越性能。此外，我们还提出了在训练细节的考虑、文本生成的适用性以及与特定指标的一致性等困难，为未来研究方向提供了启示。

Dec, 2023

我们通过对 LLaMA 的实证研究发现，在使用不到 1% 的预训练数据时，可以实现与最先进的转移模型相媲美的性能，无论是在知识对齐还是响应质量方面，这一实验结果在十三种资源匮乏的语言中也呈现出相似的趋势。预计实验的结论将有助于开发非英语 LLMs。

Jan, 2024

通过衡量语言模型上下文嵌入中恢复标记树的程度，我们提出使用考察探测来对语言模型进行排序，从而确定适合特定语言的最佳模型选择。在 46 种不同类型和结构的语言模型 - 语言对中，我们的探测方法预测最佳语言模型选择的准确率为 79％，比训练完整解析器需要更少的计算量。在本研究中，我们发现 RemBERT 是一个最近提出的解耦合语言模型，它显著包含较少的固有依赖信息，但通常在完全微调后可以产生最佳的解析器结果。在排除这个异常值后，我们的方法在 89％的情况下确定最佳的语言模型选择。

Jun, 2022

本文旨在探究将自然语言处理大规模语言模型 fine-tuning 应用于其他任务是否有效，通过在三大问题领域（文本分类、问题回答、序列标注）的 33 个 NLP 任务上的数据验证，结果显示 transfer learning 在数据稀缺情况下更为有效，在源任务数据较少或与目标任务差异较大的情况下仍能提高性能，同时提出了可以预测给定目标任务最具可转移性源任务的任务嵌入，并验证其在数据大小、源和目标之间的有效性。最终的结果显示源数据大小、任务和领域的相似性和任务的复杂性在决定转移性方面起着关键作用。

May, 2020

通过大规模实验研究，聚合不同实验结果并提出 LogME 转移度量法，发现在语义分割场景中选择良好的源数据集、在图像分类场景中选择良好的源体系结构以及确定哪个目标任务最受益于给定的源模型的最佳转移度量法是 LogME、NLEEP 和 GBC，但没有一种单一的转移度量法能够在所有场景中表现最佳。

Apr, 2022

介绍了一种新的测量方法，能够评估分类器学习的表示的可转移性，该方法称为 LEEP，能够预测转移学习和元转移学习的性能和收敛速度。LEEP 优于一些最近提出的可转移性指标，可以在从 ImageNet 到 CIFAR100 的转移学习中实现高达 30% 的准确性提升。

Feb, 2020

本研究得出结论，Transformer-based language models 可以在模拟语言理解任务中预测人类心理测量数据，这为心理测量学家节省了多轮实验测试的必要性。

May, 2022

本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

May, 2022

本研究提出了一个基于评分的评估框架，用于估计预训练语音模型（PSMs）对于微调目标任务的可转移性，通过生成排名分数进行候选 PSM 的评分，结果表明该框架计算出的转移得分与微调结果具有很高的相关性和低的 p-value，且占用更少的计算时间和资源，是调整语音基础模型的省资源高效方法。

Jun, 2023