通过共同特征学习从异构网络中融合知识

IJCAIJun, 2019

通过共同特征学习从异构网络中融合知识

Knowledge Amalgamation from Heterogeneous Networks by Common Feature Learning

Sihui Luo, Xinchao Wang, Gongfan Fang, Yao Hu, Dapeng Tao...

TL;DR本研究使用预先训练的网络作为示范，旨在学习一种能够整合各种异构结构教师的多才多艺、轻量级的学生模型，而无需获取任何人工注释信息。为此，提出了一种通用的特征学习方案，所有教师的特征都被转换成共同的空间，并且要求学生模型模仿他们的所有特征，以使完整的知识得以融合，并在一系列基准测试中证明所提出的方法的良好性能。

Abstract

An increasing number of well-trained deep networks have been released online by researchers and developers, enabling the community to reuse them in a plug-and-play way without accessing the training annotations. However, due to the large number of network variants, such public-available trained models are often of different architectures, each of which being

deep learning pre-trained networks feature learning multitalented student model knowledge amalgamation

发现论文，激发创造

综合分类知识的融合

本研究提出了一种名为知识聚合的新型模型复用任务，旨在从多个训练好的教师网络中提取知识，学习一种能够处理综合分类的轻量级学生模型，取得了很好的结果。

Nov, 2018

通过自适应知识融合从异质教师中定制学生网络

本篇文章探讨了如何利用预先训练好的深度网络来训练一个个性化的学生网络，以解决用户选择的任务，文章提出了一种双步骤策略，其中第一步从具有相同子任务的异构教师中提取任务特定知识，然后将提取的知识混合，来构建学生网络，以自我的方式从带有最小预测模糊性的教师那里学习，实验结果表明基于此种自适应知识归纳的学生网络的性能甚至优于教师。

Aug, 2019

学生成为大师：联合场景解析、深度估计等知识融合

本论文提出一种新的深度学习模型重用任务，利用预训练的教师模型在不需要人工标注的情况下训练一个轻量级和通用的学生模型，通过将合并特征投影到每个教师的领域并计算损失来学习学生模型。该方案在多项基准测试中实现了非常鼓舞人心的结果，甚至超过了教师模型在其自己的专业领域中的表现。

Apr, 2019

综合过滤知识：从多任务教师中学习定制化学生

该论文提出了一种基于预训练卷积神经网络的教师 - 学生学习方法，通过多个教师的知识筛选和层次式训练策略，将目标学生网络定制到不同任务，从而在多项基准测试中实现了优异结果。

May, 2019

跨任务和领域传递良好特征的学习

本文提出一种基于知识迁移和神经网络的方法，使得在新领域中，能够在有限或无额外监督的情况下利用特定领域中已学知识解决新任务，并且在特征空间约束和映射网络方面提出了一些策略，从而在合成到真实的语境下，利用单目深度估计和语义分割任务之间的知识迁移，获取了令人满意的结果。

Jan, 2023

通过合并专家在专家混合中学习更广义的专家

通过在混合专家中引入共享层，我们观察到性能下降。为了解决这个问题，我们跟踪每个专家的使用频率并合并两个最常选择的专家，然后使用专家组合来更新最不常选择的专家。结合后续的路由器专家选择学习，我们的算法在多领域任务增量学习中提高了迁移学习并缓解了灾难性遗忘。

May, 2024

通过特征嵌入学习学生网络

本文提出了一种基于特征嵌入的新型教师 - 学生模型，使用局部保持损失函数优化低维特征生成，从而避免引入额外参数，通过实验证明该方法计算和存储复杂度均优于现有教师 - 学生模型。

Dec, 2018

MergeNet：跨异构模型、任务和模态的知识迁移

本研究主要关注异构知识传输，通过 MergeNet 模型和参数适配器实现跨不同模型结构、任务和模式的知识交互和应用，以及在异构知识传输中取得显著改进的实验结果。

Apr, 2024

在线交互式知识蒸馏的特征融合

本研究提出了一种基于特征融合的学习框架，并通过在线知识蒸馏的方式，让不同子网络分类器之间相互教学，提高融合分类器和每个子网络的性能，多项数据集实验证明了该方法在预测准确性方面的有效性。

Apr, 2019

惊人的收益及其发现之处：关于任何预训练模型之间普适知识转移存在和前景

为了训练深度网络，需要在体系结构、数据增强或优化等方面作出各种设计决策。本文通过使用由数千个在 ImageNet 等经典数据集上训练的模型组成的公共模型库，在预训练模型的任意配对中发现了不同模型从数据中学习出独特的特征集。我们研究了在没有外部排名的情况下，是否能够在不降低性能的情况下从一种模型中转移这种 “互补” 知识到另一种模型，同时将强大、具有相似性能或较弱模型中的额外知识结合起来。通过大规模实验，我们揭示了标准知识蒸馏技术的缺点，并提出了一种更加通用的通过数据划分实现几乎所有预训练模型之间成功转移的方法，也证明了无监督转移的可能性。最后，我们评估了基本模型属性对成功的模型无关知识转移的可扩展性和影响。

Oct, 2023