提出了一种新的机器学习范式 Learngene，其主要特点是能够在一个祖先模型的连续学习期间积累知识，把这些经验压缩成紧凑的信息元素（即 Learngene），并将其遗传给后代模型，使其更容易适应新环境。

May, 2023

提出了一种实用的集体 - 个体范式，该范式在序列任务上训练一个进化（可扩展）网络，并且通过从集体模型中发现 learngene，重建轻量级个体模型，经过实验研究和理论分析证明，本文的方法在实现 few-shot learning 场景中取得了很好的效果

Jun, 2021

为了训练深度网络，需要在体系结构、数据增强或优化等方面作出各种设计决策。本文通过使用由数千个在 ImageNet 等经典数据集上训练的模型组成的公共模型库，在预训练模型的任意配对中发现了不同模型从数据中学习出独特的特征集。我们研究了在没有外部排名的情况下，是否能够在不降低性能的情况下从一种模型中转移这种 “互补” 知识到另一种模型，同时将强大、具有相似性能或较弱模型中的额外知识结合起来。通过大规模实验，我们揭示了标准知识蒸馏技术的缺点，并提出了一种更加通用的通过数据划分实现几乎所有预训练模型之间成功转移的方法，也证明了无监督转移的可能性。最后，我们评估了基本模型属性对成功的模型无关知识转移的可扩展性和影响。

Oct, 2023

该研究提出了基于自监督任务的图神经网络（GNN）的迁移学习新范式，其能够有效地将自监督任务作为辅助任务在微调阶段与目标任务结合起来，通过元学习来学习辅助任务的权重，对于多任务学习，预训练和微调均表现出色。

Jul, 2021

本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

Jun, 2023

本文研究对先前已经预训练好的 Bert、RoBERTa 和 XLNet 等神经语言模型通过微调来改进下游自然语言处理任务的表现，并使用层级和神经元级别的诊断分类器来检查这些模型的语言知识的学习方式，发现这些模型对于不同的任务有不同的语言知识保留或遗忘方式，这种模式在三个模型中都有所不同。

May, 2021

提出了一种在神经网络控制下自适应地利用先前学习的网络的知识转移方法，实现了高维序列决策领域的增量学习和知识迁移，在 Atari 2600 游戏中得到了成功的验证。

Dec, 2015

在深度神经网络中，迁移学习对于新目标任务的训练至关重要。我们提出了一种基于深度生成模型的迁移学习方法，通过伪预训练和伪半监督学习两个阶段来进行，不需要做出现有方法中的假设，能够优于从头开始训练和知识蒸馏的基准方法。

Apr, 2022

本文综述了利用知识图谱的视觉迁移学习方法，着重分析知识图谱的建模结构、特征提取和知识图嵌入方法，并介绍了四种知识图谱与深度学习管道的组合方式。同时，提供了评估基准、处理数据集和基于知识图谱的辅助知识类型的概述。未来的研究应着眼于挖掘面临的挑战和开放问题。

Jan, 2022

本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

May, 2019