CVPRJun, 2021

ECKPN: 基于显式类知识传播的半监督小样本学习网络

PDF
TL;DR通过比较、挤压和校准模块的构建，利用显式类知识传播的方法，ECKPN 方法在四个少样本分类基准测试中显著优于现有方法。
发现论文，激发创造
  • 学习传播标签：一种用于少样本学习的转导传播网络

    本文提出了一种新的元学习方法 —— 传导传播网络（TPN），用于解决小样本分类任务中的低数据问题。该方法通过学习图构建模块来学习将标签从有标签实例传播到无标签测试实例的方法，并在多个基准数据集上验证了其表现，结果表明 TPN 在有标签数量较少的情况下表现出色，取得最先进的结果。

    May, 2018

  • 基于类别图的弱监督少样本学习的原型传播网络 (PPN)

    本文介绍一种基于原型传播网络 (PPN) 的元学习方法来改善少样本分类任务的性能，该方法可以使用粗标签进行弱监督，通过原型在类别图上的传播来学习注意机制以实现不同少样本任务上的高准确率。

    May, 2019

  • 图元学习中的传播学习

    本文提出一种基于显式任务关系图的原型分类的元学习算法，称为门控传播网络（GPN）。GPN 在学习原型信息时，利用关系图中的多个相关任务的信息进行消息传递和选择性聚合，并在多种场景下实验证明其优于现有元学习方法。

    Sep, 2019

  • 组合原型网络用于小样本图像分类

    本文提出了 Compositional Prototypical Networks（CPN）以及学习转移原型和元知识的方法，以提高特征重用性并取得了在不同数据集和设置下的最先进的结果。

    Jun, 2023

  • 使用核网络进行开放世界的课程发现

    研究了一个 Open-World Class Discovery 问题，并提出了一种深度学习框架 CD-KNet-Exp 来实现新类别的发现，利用互独法准则将有监督和无监督信息结合在一起，通过三个公共数据集和一个困难的实际射频指纹数据集的实验证明了其卓越性能。

    Dec, 2020

  • 集成知识蒸馏：学习更强大和高效的网络

    本研究提出了一种集成知识蒸馏方法，可以从不同的教师网络中提取知识，并将其蒸馏成一个紧凑的学生模型，以获得更好的分类准确性和模型泛化性能。实验结果表明，这种集成方法可以显著提高模型的分类准确性和泛化性能，特别是在数据量有限的情况下。

    Sep, 2019

  • DPGN: 分布传播图网络用于 Few-shot 学习

    提出了一种基于图网络的元学习方法，并将其扩展到 1 对 N 的分布级关系建模上，最终构建了一个名为 DPGN 的新方法来进行 few-shot learning，同时使用双重完整图网络来结合分布级关系和实例级关系，可在几代更新中将标签信息从已标记的示例传播到未标记的示例。在 few-shot learning 基准测试上，DPGN 在受监督和半监督设置下都比最先进的结果表现更好。

    Mar, 2020

  • 深度层级动态神经网络中的嵌入式知识蒸馏

    本研究提出了一种嵌入知识蒸馏机制的深度级联动态神经网络 (DDNN)，通过 Kullback-Leibler 散度和自注意力蒸馏在在线知识蒸馏中获得多个高精度子网络，以提高子网络的泛化能力，从而在 CIFAR-10/100 和 ImageNet 数据集上实现了 better performance than individually training networks while preserving the original performance of full-nets。

    Mar, 2021

  • 通用图像分类的比较知识转化

    本文提出一种基于深度学习的通用框架，模拟人类图像分类任务中的识别机制，旨在在分类任务中提高对未知类别的分类性能。作者研究了一项新的任务，称为比较知识转换，该任务通过一个比较分类转换网络，将已标记类别的比较知识翻译到一组新类别上。实验表明，该模型在未知类别上具有令人惊讶的泛化能力，并在目标类别上取得了顶尖的性能。

    May, 2022

  • 弱监督代码生成的显式知识转移

    本研究提出了一种显式知识转移（EKT）方法，利用大型语言模型（LLMs）的少量学习能力来创建 NL-code 对，过滤正确性并对学生模型进行微调，以实现在数学问题求解中生成代码解决方案的任务。实验结果表明，使用 EKT 训练的 GPT-Neo 1.3B 模型具有比使用专家迭代训练和知识蒸馏更好的性能，并且学生模型使用 EKT 优于教师模型的可能性。

    Nov, 2022