该研究提出了两种方法可以将具有不同知识的神经网络的信息合并，一个是通过加权和的简单操作，另一个是通过修改权重来转移知识；这些方法被应用于分类等任务，并证明其效率。

Sep, 2018

为了训练深度网络，需要在体系结构、数据增强或优化等方面作出各种设计决策。本文通过使用由数千个在 ImageNet 等经典数据集上训练的模型组成的公共模型库，在预训练模型的任意配对中发现了不同模型从数据中学习出独特的特征集。我们研究了在没有外部排名的情况下，是否能够在不降低性能的情况下从一种模型中转移这种 “互补” 知识到另一种模型，同时将强大、具有相似性能或较弱模型中的额外知识结合起来。通过大规模实验，我们揭示了标准知识蒸馏技术的缺点，并提出了一种更加通用的通过数据划分实现几乎所有预训练模型之间成功转移的方法，也证明了无监督转移的可能性。最后，我们评估了基本模型属性对成功的模型无关知识转移的可扩展性和影响。

Oct, 2023

通过模仿自然基因的结构，我们采用名为 “learngene” 的新概念，并提出一种名为遗传传输学习（GTL）的框架，将有机体的进化过程复制到神经网络中。我们成功提取了 VGG11 和 ResNet12 的 learngenes，并证明了通过 learngenes 传递核心知识可能足够高效地提高神经网络的准确性。

Jan, 2024

本文提出了一种新颖的知识迁移方法，将其视为分布匹配问题，通过匹配教师和学生网络之间的神经元选择模式的分布，设计了一种新的知识迁移损失函数来最小化最大平均差异（MMD）值，通过与原始损失函数结合使用，有效提高了学生网络的性能，并在多个数据集上验证了方法的有效性。

Jul, 2017

本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

May, 2019

通过知识流的方式将多个深度网络（教师）的知识传递给新的深度网络模型（学生），解决了在新任务中选择哪个网络或为微调新模型选择哪个网络的初始化的问题，并在监督和强化学习任务中提供比微调和其他知识交流方法更好的表现。

Apr, 2019

本研究提出了一种新的转移学习方法，利用网络聚合解决深层神经网络领域偏移问题和之前学习知识的灾难性遗忘问题。我们证明了所提出的方法在测试时不需要任何额外训练步骤即可学习模型聚合，减轻了转移学习的负担。

Jun, 2022

本研究提出一个基于神经网络的转移学习方法，通过引入 CoNet（协作交叉网络）来实现跨领域推荐，其中隐藏层连接的交叉映射使增加了双向知识转移能力，模型在两个大型真实世界数据集上进行了广泛评估，并相对于基准模型提高了 7.84％的精度，同时证明了选择适当的特征表示对性能至关重要。

Apr, 2018

本文提出了一种称为 “Weight Distillation” 的方法，通过参数生成器传递大型神经网络参数中的知识，来实现模型加速和压缩，在三个机器翻译任务中取得了 “竞争性” 的性能表现，以及相比于知识蒸馏高出 0.51-1.82 BLEU 分数的性能。

Sep, 2020

本文提出了一种基于卷积操作的知识转移方法，通过使用两个模块，即叙述模块和翻译模块，将教师网络的知识转化为学生网络的知识，从而实现模型压缩和知识转移，实验结果表明这种方法优于传统的知识转移方法。

Feb, 2018