ICCVJul, 2023

类关系知识蒸馏用于新类别发现

PDF
TL;DR我们提出了一种基于已知类数据的无监督新类发现问题的解决方案，其中关键挑战在于将已知类数据中的知识传递到新类的学习中。我们引入了一种基于模型预测的类分布的类关系表示来对新类进行建模，并提出了一个新颖的知识蒸馏框架用于规范新类的学习，通过语义相似性自适应地促进知识传输。通过在多个基准数据集上的广泛实验证实了我们方法的有效性和泛化性，结果表明我们的方法几乎在所有基准数据集上显著优于先前的最先进方法。
novel class discoveryknowledge transferclass relationsknowledge distillationsemantic similarity
发现论文，激发创造
  • 自协作知识蒸馏用于新类别发现

    利用已学习的有关已知类别的知识，通过发现未标记样本中的未知和新颖类别来实现 Novel Class Discovery (NCD)。通过使用模型对已知和新颖类别的特征表示进行建模，构建两个不相交的表示空间，并通过自协同学习来提高模型的学习能力。通过六个数据集的广泛实验验证了该方法的可行性和超越性能。

    Jul, 2024

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019

  • 适应性特征融合的知识蒸馏分类增量学习

    本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

    Apr, 2022

  • 利用双重排名统计和相互知识蒸馏进行新型视觉类别发现

    本文提出一种基于双分支学习架构的方法，通过对已标记数据的局部信息和整体特征进行双重排序统计来对未标记数据生成伪标签，提高视觉分类发现的性能，在多个基准数据集上测试均取得了最佳表现。

    Jul, 2021

  • 无遗忘新类别发现

    本文提出了 NCDwF (无遗忘新类别发现) 这一新的实际问题，并使用生成拟变量表示、基于互信息的正则化以及已知类别标识符等方法进行了研究，通过基于 CIFAR-10、CIFAR-100 和 ImageNet-1000 的实验验证了其在已有知识保留和新类别发现之间的平衡效果。

    Jul, 2022

  • 来自更强大教师的知识蒸馏

    本文介绍了一种名为 DIST 的方法，它可以更好地从一个更强的教师模型中进行知识蒸馏，通过保留教师和学生之间的预测关系，提出了基于相关损失的方法，从而实现了最先进的性能。

    May, 2022

  • 重复使用教师分类器的知识蒸馏

    使用简单的知识蒸馏技术可以显著缩小教师模型与学生模型之间的性能差距，通过使用预先训练的教师模型的判别分类器进行学生推断，并通过特征对齐训练学生编码器来实现与教师相同的性能。添加新的投影仪使学生编码器与教师分类器匹配，从而将这种技术应用于各种教师和学生架构下达到良好的压缩率与状态的最佳结果。

    Mar, 2022

  • 理想共同分类器假设下的知识蒸馏

    IJCKD 提供了一个理论框架，通过一个基于领域自适应理论的数学分析来更好地理解现有的知识蒸馏方法，明确了教师网络与学生网络之间的知识转移机制，并且可以有效地将知识传递给各种应用领域。

    Apr, 2023

  • 一种新颖的自我知识蒸馏方法，利用孪生表示学习进行行为识别

    本文提出了一种新的自知识蒸馏方法，通过孪生表示学习来最小化给定样本的两个不同视图的表示向量之间的差异，并利用软标签蒸馏和表示向量的相似性，因此能够在同一数据点的各种视图中生成更一致的预测和表示，并在各个标准数据集上验证了其显着提高精确度的效果。

    Sep, 2022

  • 自我知识蒸馏正则化类别预测

    通过对同标签样本之间的预测分布进行正则化，使得深度神经网络在图像分类任务中显著提高预测能力和置信度表现的一种新的正则化方法。

    Mar, 2020