通过用小的 “学生” 模型来匹配正确类别的概率，将大 “教师” 神经网络的大部分泛化能力转移到小模型上，训练教师将每个类别分成多个子类别可改进转移，对于有已知自然子类别及未知子类别的数据集，子类别蒸馏可以使学生更快速、更准确地学习。

Feb, 2020

本文提出了一种针对 few-shot learning 中使用的分类器训练，通过在基础模型中冻结或微调特定层以转移部分知识来提高性能，并引入基于进化搜索的方法以自动化此选择过程，以得到在 CUB 和 mini-ImageNet 中具有最先进表现的该方法。

Feb, 2021

本文通过分析在只微调模型最后一层的情况下分类任务的性能传输，提出了一种新颖的任务转移分析方法，该方法通过改变类先验分布、标签和特征空间的方法变换源分布，并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性，同时提出了最小化转移上限的变换源任务的优化问题，通过对最新的预训练模型进行大规模实证研究，证明了本方法在预测传输性方面的有效性。

Jul, 2023

评估深度学习模型在新颖数据上的泛化能力，通过对神经网络各层的性能评估，发现高分类准确性并不意味着高泛化能力，深层网络不总是最好的泛化模型，对模型不同层的泛化能力进行了探讨。

May, 2024

为了训练深度网络，需要在体系结构、数据增强或优化等方面作出各种设计决策。本文通过使用由数千个在 ImageNet 等经典数据集上训练的模型组成的公共模型库，在预训练模型的任意配对中发现了不同模型从数据中学习出独特的特征集。我们研究了在没有外部排名的情况下，是否能够在不降低性能的情况下从一种模型中转移这种 “互补” 知识到另一种模型，同时将强大、具有相似性能或较弱模型中的额外知识结合起来。通过大规模实验，我们揭示了标准知识蒸馏技术的缺点，并提出了一种更加通用的通过数据划分实现几乎所有预训练模型之间成功转移的方法，也证明了无监督转移的可能性。最后，我们评估了基本模型属性对成功的模型无关知识转移的可扩展性和影响。

Oct, 2023

本文研究基础模型学习分类表示在转移学习中的能力。我们通过解释过参数分类器所学习到的特征在转移学习中的普遍适用性，展示神经坍塌现象在样本训练类和新类别上的泛化性，并能成功应用在少样本学习任务中。

Dec, 2021

本研究旨在探讨部分相似性对转移学习表现的影响，在探究各种类型的转移学习的基础上，提供了实用的指导，以确定共同部分和任务特定部分的特征数，从而实现更好的泛化性能。

Jun, 2023

介绍了机器学习中领域自适应和转移学习的数据分布变化问题，分类模型的风险最小化框架及其在复杂变化中的应用，并讨论了多种方法来解决这些问题，但要实现实用化仍需解决许多问题。

Dec, 2018

研究表明，在模型选择中，转移距离是一个新的复杂度项，但在分类中，自适应速率可能会非常缓慢，而需有关距离的知识的 oracle 速率则可以达到更快的速度。

Apr, 2023

本文提出了基于产品专家公式和 A UD 模块的零样本和少量样本归纳学习框架，利用来自非数据类的未标记采样来提高任意数量学习的泛化能力，并证明了该模型适用于有限监督场景下的广义零样本模型。

Jul, 2021