本文研究了传递学习的有效性，并发现原先认为的更多的预训练数据不一定就能提高模型性能，而是需要审慎选择预训练数据。同时，作者提出了基于目标数据集计算重要性权重的领域自适应传递学习方法，并在多个细粒度分类数据集上取得了最先进的结果。

Nov, 2018

本研究旨在阐明多任务表示学习中任务规模和相关性的影响。研究表明，如果预先知道目标任务，则在较小的一组相关任务上进行训练在降低计算成本的同时也能与大规模多任务训练相竞争。

Apr, 2022

本文提出了一个实用性框架 Fennec，通过将所有模型和历史任务映射到一个 transfer-related 子空间中，以判断他们之间的可迁移性，并通过一个大型视觉模型来推断新任务在 transfer 空间中的表示，最后通过 rigorous testing 在两个基准测试上验证了框架的有效性。

Mar, 2024

使用图像识别数据集作为源域和目标域之间的桥梁，通过任务蒸馏框架，在不同仿真器之间成功地传输导航策略，并在传统领域适应基准上展现出有前途的结果。

Aug, 2020

在机器学习中，预训练模型对于下游任务的使用已经成为一种标准方法，虽然其实证明了效果提升，但是预训练模型的鲁棒性如何传递到下游任务中还未被充分理解。我们证明了预测器的鲁棒性可以通过其基础表示的鲁棒性来界定，与预训练协议无关。综上所述，我们的结果明确了可靠性表现在部署时所需要的表示函数的要求。

Aug, 2022

该研究提出了一种跨不同领域和任务学习可转移表示的框架，借助度量学习的方法为新任务和领域泛化嵌入，通过对抗损失解决了域偏移问题，在标记源数据和目标域中的未标记或稀疏标记的数据上进行同时优化。该方法在只有每类很少标记实例的情况下，对新领域内的新类提供了令人信服的结果，优于现有的微调方法，并证明了该框架在从图像对象识别到视频动作识别的转移学习任务中的有效性。

Nov, 2017

我们提出了一个新颖的框架，用于大规模推荐系统中用户的表示，旨在以一种广义的方式有效地表示多样化的用户喜好。我们的方法采用了一种两阶段的方法，结合表示学习和迁移学习。表示学习模型使用自编码器将各种用户特征压缩成表示空间。在第二阶段，特定于任务的下游模型通过迁移学习利用用户表示，而不是单独地整理用户特征。我们进一步改进了这种方法的输入特征，以增加灵活性并实现对用户事件（包括新用户体验）的近实时反应。此外，我们提出了一种新的解决方案，以管理此框架在生产模型中的部署，允许下游模型独立工作。我们通过大规模系统中的严格离线和在线实验验证了我们框架的性能，展示了其在多个评估任务中的显着功效。最后，我们展示了所提出的框架如何显著降低基础设施成本，相比于其他方法。

Mar, 2024

本文提出了一种基于表示转移的学习方法来构建目标模型，该方法包括利用不同源表示构建适应目标数据的表示以及使用获得的模型作为细调过程的初始化，从而为线性回归提供了一种可行的迁移学习框架。

May, 2023

本文提出一种基于悔意的模型选择框架，探讨了对于视觉任务模型选择的通用策略与任务相关策略，并且通过具有代表性的数据集验证了一个简单高效的混合搜索策略的有效性。

Oct, 2020

本文提出了一种新颖的对抗多臂赌博方法，自动学习将源表示路由到适当的目标表示，进而以有意义的方式结合这些表示以产生准确的目标模型，适用于小数据应用。

Feb, 2022