Jun, 2024

通过相似度蒸馏保持图自编码器中节点的独特性

PDF
TL;DR通过双编码器 - 解码器架构将原始图的区别知识传递到重建图以避免模糊重建并提高性能。
graph autoencodersgenerative self-supervised learningreconstructed graphknowledge distillationkl constraint
发现论文，激发创造
  • 通过对抗知识蒸馏压缩深度图神经网络

    本文提出了一种名为 GraphAKD 的新型对抗知识蒸馏框架，其中包括一个可训练的判别器和一个生成器，用于自适应地检测和降低深度图神经网络中的知识差异，并将其成功地应用于节点级和图级分类任务中，改善了学生 GNN 的性能。

    May, 2022

  • 一种双重自蒸馏的无教师图知识蒸馏框架

    无需师生模型或图神经网络，纯基于多层感知器的图自蒸馏 (TGS) 框架在训练中利用结构信息进行自知识蒸馏，从而在推理中无数据依赖，显著提高了多层感知器的性能，并在六个真实数据集上超过最先进的图知识蒸馏算法。此外，TGS 的推理速度比现有 GNNs 快 75 倍至 89 倍，比传统推理加速方法快 16 倍至 25 倍。

    Mar, 2024

  • 通过迭代自我语义知识蒸馏来提高知识图谱嵌入

    提出了一种迭代自我语义知识蒸馏策略，以提高低维空间下知识图谱 (KGs) 中的知识图谱嵌入 (KGE) 模型表达能力，实现更好的链接预测。通过使用一种新颖的语义提取块，将迭代基于的语义信息提取到训练模型的自我蒸馏中，从而使低维模型具有更高的表达能力，且该策略不仅模型无关，而且可以与其他 KGE 模型无缝结合。在四个标准数据集上进行了实验验证，证明了该自我蒸馏策略的有效性和稳定性。

    Jun, 2022

  • 基于图形的深度几何知识蒸馏

    本文探讨了相对知识蒸馏涉及到潜在空间中的几何，引入一种基于图的方案，有效地从大型神经网络导出知识并传递到小型网络中，提高了性能表现和精度。

    Nov, 2019

  • 图像到图像翻译的语义关系保持知识蒸馏

    本文提出了使用知识蒸馏和语义保留矩阵以压缩学生模型大小的方法，该方法在 5 个数据集和 3 个教师 - 学生模型对的实验中，证明可以在生成对抗网络的图像到图像翻译任务中取得令人印象深刻的质量和数量上的优秀结果。

    Apr, 2021

  • 图神经网络表示知识蒸馏

    通过对比实验，本文提出了一种新的基于图像对比度表示蒸馏的知识蒸馏方法，用于提高资源有效的图神经网络的表现，该方法通过保留全局拓扑结构与对比学习使轻量级图神经网络的性能和稳健性得到了提高。

    Nov, 2021

  • 层次特征的重要性：生成对抗网络先验的深入探索提升数据集蒸馏

    通过在生成对抗网络中逐渐跨越初始潜在空间到最终像素空间，以及引入一个新的与类别相关的特征距离度量方法，我们提出了一种名为层次生成潜在蒸馏（H-GLaD）的新型参数化方法，用于在不同层次的层中系统地探索。实验证明，所提出的 H-GLaD 在相同架构和不同架构性能上显著改进，且时间开销相等。

    Jun, 2024

  • 在精简 StyleGAN 时要注意差距

    这篇论文提出了一种基于输出一致性和潜在空间的语义关系的潜在方向的蒸馏方法，以解决 StyleGAN 的蒸馏问题，该方法在蒸馏 StyleGAN2 和 StyleGAN3 方面的效果显著优于现有的 GAN 蒸馏方法。

    Aug, 2022

  • 自蒸馏图神经网络

    本文提出了基于邻近差异率（NDR）的自适应差异保留（ADR）正则化器以加强知识的传递，进而提出了一种基于 GNN-SD 框架的通用图神经网络知识蒸馏方法，它在减少训练成本的同时实现了领先的蒸馏效果，并为多种流行的骨干网路提供了一致有效的性能增强。

    Nov, 2020

  • 迭代式图形自蒸馏

    提出一种基于对比学习的迭代图形自蒸馏方法（IGSD），可以在无监督情况下自动学习图形级别的表示，并且将其扩展到半监督情况和自训练中，实验表明，在各种图形数据集中，IGSD 在无监督和半监督设置下均获得了显著的性能提升，证明其优越性。

    Oct, 2020