通过对比实验，本文提出了一种新的基于图像对比度表示蒸馏的知识蒸馏方法，用于提高资源有效的图神经网络的表现，该方法通过保留全局拓扑结构与对比学习使轻量级图神经网络的性能和稳健性得到了提高。

Nov, 2021

本研究提出了 “通过感受野分布匹配的图压缩” 算法，通过优化生成的小图形，使其具有与原图相似的感受野分布，从而在保持准确性的同时减小输入大小，并通过使用最大均值差异来量化其分布匹配损失，实现了高度通用性的生成图，并显著提高了压缩速度。

Jun, 2022

通过解释性自表示图结构重构的方法，GCSR 在显式地融入原始图结构的过程中，通过重构可解释的自表示图结构，解决了在训练大规模图上的图神经网络时，节点特征优化、构建可解释图结构的问题。

Mar, 2024

本篇研究提出并研究了图卷积神经网络 (GNNs) 的图压缩问题，旨在将原始大图压缩成小型合成图以提高神经模型训练的时间性能，通过优化梯度匹配损失和设计一种策略同时压缩节点特征和结构信息，有效地将不同图数据集压缩成信息丰富的较小图并将其用于训练各种 GNN 体系结构，测试结果在 Reddit 上可达到 95.3％，在 Flickr 上可达到 99.8％，在 Citeseer 上可达到 99.0％，同时将其图的尺寸缩小了 99.9％以上。

Oct, 2021

我们提出了一种名为动态子图蒸馏（DSGD）的新方法，它利用语义和结构信息，实现对无标签数据的稳定知识蒸馏，对分布偏差具有鲁棒性，并在半监督连续学习场景中减轻了灾难性遗忘问题。

Dec, 2023

通过在生成对抗网络中逐渐跨越初始潜在空间到最终像素空间，以及引入一个新的与类别相关的特征距离度量方法，我们提出了一种名为层次生成潜在蒸馏（H-GLaD）的新型参数化方法，用于在不同层次的层中系统地探索。实验证明，所提出的 H-GLaD 在相同架构和不同架构性能上显著改进，且时间开销相等。

Jun, 2024

提出一种基于对比学习的迭代图形自蒸馏方法（IGSD），可以在无监督情况下自动学习图形级别的表示，并且将其扩展到半监督情况和自训练中，实验表明，在各种图形数据集中，IGSD 在无监督和半监督设置下均获得了显著的性能提升，证明其优越性。

Oct, 2020

本文提出了一种结构自由图压缩范式（SFGC），该方法将大规模图形压缩为小规模无图结构的节点集，并介绍了一种训练轨迹元匹配方案和图神经特征评分指标检验了该方法的优越性。

Jun, 2023

提出一种基于多层级知识蒸馏技术的轻量级半监督语义分割模型，采用标注数据和未标注数据的协同蒸馏方案，结合像素级一致性约束、语义感知层次损失和内容感知区域损失等多层次损失策略，从多个角度对模型知识进行精炼，能够在消耗更少的运算资源和更小的模型体积下取得同类模型不可比的性能提升。

Aug, 2022

本文提出了一种新的数据集蒸馏方法，该方法在将大型数据集蒸馏为生成模型时考虑了全局结构和局部细节的平衡。

Apr, 2024