该论文提出了一种新颖的信息化机器学习方法，建议在先前的知识上进行预训练，这可以加快学习过程，提高泛化能力，增加模型的鲁棒性，并且可以将语义知识转移至深层次特征。

May, 2022

本文通过分析在只微调模型最后一层的情况下分类任务的性能传输，提出了一种新颖的任务转移分析方法，该方法通过改变类先验分布、标签和特征空间的方法变换源分布，并利用 Wasserstein 距离、标签分布的条件熵以及源分布的带权损失等因素说明了传输性，同时提出了最小化转移上限的变换源任务的优化问题，通过对最新的预训练模型进行大规模实证研究，证明了本方法在预测传输性方面的有效性。

Jul, 2023

本文研究在归纳迁移学习中，fine-tuning 方式相较于从头训练卷积神经网络具有更好的表现。为了提高 fine-tuned 模型在目标任务上的泛化性能，本文探究了多种正则化方法，最终推荐采用 $L^2$ 惩罚并将预训练模型作为基准的方法作为迁移学习任务的 baseline。

Feb, 2018

本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来 应用于目标数据集的正则化项

Jun, 2023

通过对比学习和分类等几种常用的监督信号的信息论分析，我们确定了它们如何为表示学习性能做出贡献以及在训练数据集的标签数、类数和维数等培训参数影响下学习动力学如何受影响。我们通过一系列模拟实验进行了实证验证，并进行了成本效益分析，以建立一条权衡曲线，使用户能够优化在自己的数据集上监督表示学习的成本。

Nov, 2022

通过在神经网络中引入先前的信息，我们能够在失败的机器学习算法无法学习的情况下解决任务。在这项研究中，我们通过对 64x64 的二进制图像数据集进行训练，使用一个两层 MLP 体系结构学习任务，其中包括以先前的中间阶段作为监督的中间级概念，从而获得可靠的正面证据来支持我们的假设。

Jan, 2013

稀缺的异常数据是学习准确的异常检测决策规则的一个关键障碍。虽然迁移学习方法在异常检测中取得了最近的经验成功，但关于从源异常检测任务向目标任务中传递知识的条件和方式的基本理解仍不清楚。本研究采用 Neyman-Pearson 分类的传统框架，假设可以访问一些相关的但不完美的异常数据，并给出了关于该问题的信息理论限制，在这些限制下，我们验证了自适应程序在原则上可以实现，即无需关于源和目标异常分布差异的先验信息。

Oct, 2023

本论文提出了一种有效的迁移学习准则，该准则仅学习 “差异性”，通过训练一个后验比率，得到一个与源分类器完全不同的模型，从而简化了迁移学习的成本。最终分类器只需将已有的概率分类器与学习到的后验比率相乘即可得到。

Jun, 2015

本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

Dec, 2022

本论文研究如何在无标签数据集上解决新的、看似不相关的目标任务时，以现有数据集的形式重用现有知识。研究团队通过使用零样本分类器指导学习过程并重新审视自适应 SVM 的双重公式，提出了一个有效的主动学习算法，可用最少的人工标注努力学习最好的目标分类模型，从而在未来的任务中以最小的努力重用过去的数据集。

Oct, 2015