Sep, 2019

深度协作学习的知识转移图

PDF
TL;DR本文提出了一种新的基于图的知识迁移方法，其中引入了知识迁移图和四个门函数来控制梯度，以实现更加灵活和多样化的迁移方式。实验结果表明，该方法在 CIFAR-10、-100 和 Tiny-ImageNet 数据集上实现了显著的性能改进，并能够发现出色的图结构。
发现论文，激发创造
  • 使用知识图谱进行视觉迁移学习的调查

    本文综述了利用知识图谱的视觉迁移学习方法，着重分析知识图谱的建模结构、特征提取和知识图嵌入方法，并介绍了四种知识图谱与深度学习管道的组合方式。同时，提供了评估基准、处理数据集和基于知识图谱的辅助知识类型的概述。未来的研究应着眼于挖掘面临的挑战和开放问题。

    Jan, 2022

  • 基于自由方向知识蒸馏的图神经网络共同增长

    该论文提出了一种名为 FreeKD 的图神经网络知识蒸馏框架，通过强化学习以一种自由的方式互相交换知识，无需提供深度优化的教师 GNN，可以达到比传统 KD 算法更好的性能。

    Jul, 2023

  • 无图知识蒸馏用于图神经网络

    本文提出了一种被称为无图知识蒸馏（GFKD）的方法，通过建模多元伯努利分布来学习知识传输的图拓扑结构，并使用梯度估计器来优化该框架，该方法适用于处理不同拓扑结构的非网格数据。经过广泛的实验，GFKD 实现了从 GNN 中蒸馏知识的最先进性能，无需训练数据。

    May, 2021

  • 变分信息蒸馏用于知识迁移

    本论文提出了一种信息理论框架用于知识转移，将知识转移视为最大化教师和学生网络之间的互信息，将该方法应用于不同架构的网络间的知识转移，证明了其性能远超现有方法。

    Apr, 2019

  • 桥接 - GNN：有效知识转移的知识桥接学习

    数据需求过大的难题给深度学习模型带来了挑战，我们提出了一种基于图神经网络的知识桥接学习方法（KBL），通过构建桥接图和样本间的知识传递，KBL 不受强假设限制且对源数据的噪声具有鲁棒性，实验证明 Bridged-GNN 方法在有限数据场景中显著提升了性能。

    Aug, 2023

  • 基于图形的深度几何知识蒸馏

    本文探讨了相对知识蒸馏涉及到潜在空间中的几何，引入一种基于图的方案，有效地从大型神经网络导出知识并传递到小型网络中，提高了性能表现和精度。

    Nov, 2019

  • 无框图知识蒸馏

    本文提供了一种基于多尺度图框架的知识蒸馏方法，通过合理利用图框架分解所提供的多尺度图知识，学生模型能够适应同构和异构图，并具有通过简单而有效的图手术缓解过度压缩问题的潜力。实验结果表明，该模型可以在保持高推理速度的同时，生成与教师模型相同甚至更好的学习精度。

    Jul, 2023

  • 利用概率知识传递学习深度表示

    本文提出了一种新的知识迁移技术，能够训练一个学生模型，使其保持与教师模型之间相同数量的互信息，与现有的 KT 方法相比，该方法能够克服一些局限性，并提供新的 KT 应用。

    Mar, 2018

  • 图神经网络知识的提取与扩展：一种有效的知识蒸馏框架

    本文提出一种基于知识蒸馏的框架，利用参数化标签传播和特征转换模块搭建简单的学生模型。实验结果表明，该模型在 5 个公共基准数据集上相对于 7 个图神经网络的教师模型平均能提高 1.4% - 4.7% 的准确度，并且具有更可解释性的预测过程。

    Mar, 2021

  • 用图神经网络提炼整体知识

    本文提出一种基于属性图的全局知识蒸馏方法，通过自适应地聚合相关样本的单独知识，将它们与关系型邻域样本的关联知识整合成统一的图嵌入，并以对比的方式训练学生网络来蒸馏全局知识。

    Aug, 2021