Jul, 2023

对比式知识融合用于无监督图像分类

PDF
TL;DR知识融合旨在学习一个紧凑的学生模型，以处理多个针对各自任务的教师模型的联合目标。我们提出了一种新颖的对比知识融合（CKA）框架，通过引入对比损失和对齐损失来实现类内凝聚和类间分离，以使学生能够学习多个异构教师自任务的适当决策边界。
knowledge amalgamationcontrastive knowledge amalgamationstudent modelteacher modelsalignment loss
发现论文，激发创造
  • 使用 Transformer 实现物体检测知识整合

    本文探讨了基于 Transformer 的物体检测模型用于知识汇集的更有效的方案，提出了序列级别和任务级别两个方面的知识汇集，其中利用教师序列拼接生成提示进行序列级别的知识汇集，而利用软目标进行任务级别的知识汇集，实现了快速学习多样化检测任务并达到或超越教师的性能。

    Mar, 2022

  • 综合分类知识的融合

    本研究提出了一种名为知识聚合的新型模型复用任务，旨在从多个训练好的教师网络中提取知识，学习一种能够处理综合分类的轻量级学生模型，取得了很好的结果。

    Nov, 2018

  • 知识融合的类增量学习

    通过多源异构教师模型的知识融合过程，学生网络可以在不需要注释的情况下学习以前任务的专业知识，从而在后续的单一头学生网络中处理 “灾难性遗忘” 问题。

    Sep, 2022

  • 知识蒸馏中重新思考聚焦核对齐

    使用 CKA（Centered Kernel Alignment）理论有效地将大规模模型和轻量级模型之间的表达差异解耦为 MMD（Maximum Mean Discrepancy）的上界和一个常数项，提出了一种新颖的 RCKA（Relation-Centered Kernel Alignment）框架，根据任务特征动态定制 CKA 的应用，以较低的计算源消耗获得相比前期方法相当的性能，在 CIFAR-100、ImageNet-1k 和 MS-COCO 上的广泛实验表明，该方法在几乎所有的师生网络对中对于图像分类和目标检测都达到了最先进的性能。

    Jan, 2024

  • 在线对比学习的知识蒸馏在视觉识别中的应用

    论文提出了一种互惠对比学习（MCL）框架来进行基于网络的集成学习，可以提高模型的特征表达能力，从而提高视觉识别任务的性能。

    Jul, 2022

  • CKD：基于样本级别的对比知识蒸馏

    我们提出了一种简单而有效的对比知识蒸馏方法，通过样本间和样本内约束问题的分析，实现了‘黑暗知识’的恢复。我们的方法通过对齐学生和教师的逐样本逻辑回归，最小化了相同样本中的逻辑回归差异，同时通过利用不同样本之间的差异性来弥合语义差异。通过对这些约束进行对比学习框架的优化，我们的方法不仅具备简单、高效的特点，还能有效地减少运行复杂度和超参数调整的需求。通过在 CIFAR-100、ImageNet-1K 和 MS COCO 三个数据集上的实验证明了我们提出的方法在图像分类和物体检测任务上的有效性。

    Apr, 2024

  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023

  • 置信度感知的多教师知识蒸馏

    该研究提出了一种自适应分配逐样本可靠度的方法，以每个教师的预测可信度来稳定知识转移过程，并结合中间层来提高学生成绩，在不同的教师 - 学生架构下，优于所有其他现有方法。

    Dec, 2021

  • 比较性知识蒸馏

    在大规模预训练模型时代，知识蒸馏在保持性能的同时，将计算重的教师模型的智慧转移到轻量高效的学生模型中起到了重要作用。然而，传统的知识蒸馏假设经常对教师模型进行推理，这与成本高昂且往往是专有的大规模模型的现实越来越不符。针对这一问题，本文提出了面向少教师推理知识蒸馏（FTI KD）的方法，旨在减少对教师模型推理的依赖。本文观察到，当前的知识蒸馏技术和最先进的数据增强策略在这种受限环境下效果不佳。我们从强调通过对比学习的教育原则中汲取灵感，提出了比较式知识蒸馏（CKD），它鼓励学生模型理解教师模型对样本解释的微妙差异，并为学生提供额外的学习信号，而无需进行额外的教师调用。此外，我们将 CKD 原理扩展到样本组，从有限的教师调用中实现更高效的学习。在各种实验设置下的实证评估表明，CKD 始终优于最先进的数据增强和知识蒸馏技术。

    Nov, 2023

  • I2CKD：用于语义分割的课内和课间知识蒸馏

    这篇论文提出了一种针对图像语义分割的新型知识蒸馏方法，称为 Intra- and Inter-Class Knowledge Distillation（I2CKD）。该方法的重点是捕捉和转移教师（笨重模型）和学生（紧凑模型）的中间层之间的知识。为了进行知识提取，我们利用特征图生成了类原型。为了促进知识传递，我们采用三元损失来最小化教师和学生原型之间的类内方差，最大化类间方差。因此，I2CKD 能够使学生更好地模拟教师每个类的特征表示，从而提高紧凑网络的分割性能。使用各种教师 - 学生网络对 Cityscapes、Pascal VOC 和 CamVid 三个分割数据集进行广泛实验，证明了所提方法的有效性。

    Mar, 2024