Jul, 2023

集群感知半监督学习：可证明学习聚类的关系知识蒸馏

PDF
TL;DR关于关系性知识蒸馏的理论解释和在半监督分类问题中的应用，本文通过将关系性知识蒸馏转化为基于教师模型的谱聚类，并量化聚类误差来证明其有效性，并通过示例复杂度界限和群集感知的半监督学习框架进一步展示了其高标记效率。此外，通过将数据增强一致性正则化与群集感知框架统一，发现关系性知识蒸馏通过谱聚类提供了 “全局” 视角，而一致性正则化则聚焦于 “局部” 视角的扩展。
relational knowledge distillationspectral clusteringsemi-supervised classificationclustering errorlabel efficiency
发现论文，激发创造
  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 基于跨模型半监督学习的道路检测的知识蒸馏

    知识蒸馏和半监督学习方法相结合的半监督学习知识蒸馏（SSLKD）方法在道路分割应用中表现出显著的学生模型性能提升，超过传统半监督学习方法的效果。

    Feb, 2024

  • 使用相关距离和网络修剪强化的鲁棒性知识蒸馏

    我们提出了一种利用关联距离和网络修剪的强化稳健知识蒸馏（R2KD）方法，能够有效结合数据增强以提高模型的性能。在各种数据集上进行了广泛的实验，包括 CIFAR-100、FGVR、TinyImagenet 和 ImageNet，这些实验证明了我们的方法优于当前最先进的方法。

    Nov, 2023

  • 残差知识蒸馏

    本研究提出了一种名为 Residual Knowledge Distillation (RKD) 的知识蒸馏方法，通过引入辅助器来进一步提炼知识，从而解决现有方法由于学习容量间的巨大差距而导致的性能下降问题，并在 CIFAR-100 和 ImageNet 等流行分类数据集上取得优异的成果，超过了现有方法的最新水平。

    Feb, 2020

  • 利用关系知识蒸馏提升对比学习

    通过引入异构的 teacher 和 relation-wise 对比学习，我们成功地解决了在轻量级模型中进行 instance-wise 对比时在语义空间中容易崩溃的问题，并通过 AlexNet 线性评估验证了该方法的有效性，达到了接近于有监督学习的 50.5% 的水平。

    Dec, 2021

  • 基于图形的深度几何知识蒸馏

    本文探讨了相对知识蒸馏涉及到潜在空间中的几何，引入一种基于图的方案，有效地从大型神经网络导出知识并传递到小型网络中，提高了性能表现和精度。

    Nov, 2019

  • 排名蒸馏：学习高性能紧凑排名模型的推荐系统

    在学习排名问题时，我们提出了一种基于知识蒸馏的技术，称为 RD，通过使用更小的模型在保持模型性能的同时提高在线推理的效率，该技术在公共数据集和推荐模型上实现了旨在设计的目的。

    Sep, 2018

  • 知识蒸馏作为半参数推断

    使用半参数推断方法将知识蒸馏转换为目标学生模型、未知贝叶斯类概率和教师概率的 plug-in 估计值，引入交叉适应和损失校正两种方式来改善教师过度拟合和欠拟合对学生性能的影响，为标准蒸馏的预测误差提供了新的保证，并在表格式和图像数据上进行实证验证，观察到与知识蒸馏增强相关的一致改进。

    Apr, 2021

  • 通过标签修订和数据选择改进知识蒸馏

    该论文提出了一种解决知识蒸馏中错误监督的问题的方法，即通过标签修正纠正教师模型的错误预测，并引入数据选择技术以减少错误监督的影响，实验证明该方法的有效性，并表明该方法可以与其他蒸馏方法相结合，提高其性能。

    Apr, 2024

  • 无偏知识蒸馏推荐

    本文提出了一种新的知识蒸馏方法，即分层蒸馏策略，用于解决推荐系统中已有的知识蒸馏方法中存在的推荐偏差问题。该方法通过对热门物品进行分层处理，提取每个组中的排名知识，用于监督学生模型的学习，避免了推荐结果的不准确和不公平。

    Nov, 2022