通过使用其他任务的假设集合，研究了一种广泛的以ERM为基础的线性算法，当传递的源假设组合适当时，证明了其具有加速收敛的泛化和过度风险的边界，然而，如果源假设组合不适合目标任务，那么它会恢复到常规的学习速率。

Dec, 2014

研究如何在迁移学习中最小化取样成本，并建立了源数据和目标数据样本大小的最小最大速率，并展示了性能限制是通过源与目标之间的不一致性捕捉的，我们称之为转移指数。

Feb, 2020

本文研究了迁移学习中的广义化误差和 excess risk 问题，提出了一种信息论分析方法。结果表明 Kullback-Leibler divergence 在特定环境中能很好地描述广义化误差，我们还将结果推广到一种特定的经验风险最小化算法中。同时，该方法在迭代，噪声梯度下降算法中有潜在的应用。

May, 2020

本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制，并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解，并通过各种实验验证了我们的理论发现。

Jun, 2020

本文介绍了一种基于信息理论的上限，以测量源和目标数据分布之间的差异，并将模型对每一个数据集样本的敏感性考虑在内。同时，对于加权风险最小化问题，提出了一种新的平均传输超额风险的上限。

Oct, 2020

本文提出HASTE（HArd Subset TransfErability）方法，通过使用较难的目标数据子集来估计源模型转移到特定目标任务的可转移性，结合内部和输出表示方法提出两种技术来识别较困难的子集，从而可与任何现有可迁移度度量一起使用以提高其可靠性，实验结果表明，HASTE修改的指标与现有的可迁移度指标一致或更佳。

Jan, 2023

研究表明，在模型选择中，转移距离是一个新的复杂度项，但在分类中，自适应速率可能会非常缓慢，而需有关距离的知识的oracle速率则可以达到更快的速度。

Apr, 2023

解决在稳健转移学习中由贝叶斯分类器的不确定性和目标与源分布之间弱可转移信号引起的挑战。我们介绍了一种称为''不确定性水平''的新量，用于衡量目标和源回归函数之间的差异，并提出了一种简单的转移学习过程。我们建立了一个一般定理，展示了这个新量与风险改进方面的学习可转移性是如何相关的。我们的提出的''Transfer Around Boundary''（TAB）模型，在平衡目标和源数据性能的阈值的基础上，既高效又稳健，在改进分类的同时避免了负转移。此外，我们还展示了TAB模型在非参数分类和逻辑回归任务上的有效性，达到了最优上限，与对数因子相匹配。模拟研究进一步支持了TAB的有效性。我们还提供了简单的方法来绑定过度的错误分类错误，无需在转移学习中专门的知识。

Oct, 2023

本研究解决了线性模型在回归和二分类任务中的迁移学习问题，尤其是小样本训练数据的挑战。通过预训练权重和随机梯度下降，分析了预训练和微调模型的泛化误差，并指出在特定条件下，微调模型能优于预训练模型。研究结果具有普遍性，仅依赖于目标分布的一阶和二阶统计量，超越了文献中常见的标准高斯假设。

Oct, 2024

本研究解决了迁移学习中对“任务相似性”的理论理解不足的问题。通过采用以特征为中心的观点，论文证明了在目标任务与预训练模型的特征空间高度重合时，迁移学习能显著优于从头开始训练。最重要的发现是，在数据有限的情况下，强烈的特征空间重叠可以促进有效的线性迁移和微调，提升整体性能。

Oct, 2024