回归任务的简单可迁移性估计
现已大规模和大量可用的预训练模型，因此估计模型的迁移能力变得至关重要，本文针对这个问题进行了综述，并将其分为两个领域：无源模型迁移能力估计和有源模型迁移能力估计，提供了相关的分类和指导。
Feb, 2024
通过提出一种简单、高效、有效的量化传递学习中先前训练模型的可迁移性算法 TransRate，通过对目标任务示例进行一次遍历，度量传递性，作为预先训练模型提取目标示例特征和其标签之间互信息的方法，TransRate 在 32 个预先训练模型和 16 个下游任务的广泛评估中表现极好，从特征表示的角度评估 TransRate 评估先前训练特征的完整性及其对于每一类别的紧凑性能力。
Jun, 2021
该研究开发出一种称为 UTrans 的可解释性统一转移学习模型，它可以检测可转移的变量和源数据，并基于假设检验提出源检测算法来排除不可转移的数据，通过多次实验比较预测误差和解释性等因素，表明 UTrans 相对于现有的算法具有较低的误差和更好的解释性，并将其应用于美国代际流动数据并将其与经典机器学习算法进行比较。
Jul, 2023
本文提出了一种新的分析方法和度量标准 —— 基于 Wasserstein 距离的联合估计（WDJE），用于在统一的分类和回归问题中估计和确定可转移性，通过比较目标风险有无转移来促进决策，同时提出了一种容易理解和计算的目标风险上界，通过有限的目标标签关系目标风险与源模型性能、域和任务之间的 Wasserstein 距离关系，简化了目标风险的计算， 并将其推广到无监督设置中。实验结果表明，WDJE 在图像分类和剩余寿命回归预测中的有效性，并且所提出的目标风险上界能够很好地估计目标转移风险。
May, 2023
我们在这篇论文中针对医学图像分割中应用迁移学习时的不足，提出了一种新的迁移能力估计方法，该方法考虑了类一致性和特征多样性，通过大量实验证明，在医学图像分割中我们的方法超过了所有现有的迁移能力估计算法。
Jul, 2023
本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。
Dec, 2022
本文提出了一种新的方法，通过信息论方法来估计监督分类任务的难度和可转移性，无需模型和训练，而是通过探索训练标签统计数据作为随机变量，考虑从源任务到目标任务的两个标签分配之间的条件熵，表明此值与传输模型的损失有关，并测试其在三个大型数据集上的有效性。
Aug, 2019
本文提出了一个简单而高效的方法来估计深度神经网络的迁移能力，该方法通过将深度神经网络投影到一个模型空间中，其中每个网络被视为一个点，这些点之间的距离通过它们产生的归因图的偏差来衡量。该方法比 Taskonomy 快数倍，同时保留了 Taskonomy 获得的与任务相关的拓扑结构。
Sep, 2019
本研究通过定义和计算可量化的可迁移性来研究这种特征，在领域泛化中，我们将其与诸如总变化和 Wasserstein 距离之类的区别和联系，发现现有算法中很少具有可迁移性，随后提出了一种新的算法，以测试各种基准数据集，并在其中实现了持续的改进。
Jun, 2021
本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制，并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解，并通过各种实验验证了我们的理论发现。
Jun, 2020