Jul, 2023

反向知识蒸馏：利用小模型训练大模型在有限数据上进行视网膜图像匹配

PDF
TL;DR基于反向知识蒸馏的方法可以在数据有限的情况下训练大型模型，从而提高视网膜图像匹配的泛化性能，并防止过拟合。
retinal image matchingreverse knowledge distillationcnn-based modelvision transformer encoderoverfitting prevention
发现论文，激发创造
  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022

  • 权重复制与低秩适应：视觉 Transformer 的少样本蒸馏

    利用少样本的知识蒸馏方法来提取大规模预训练模型的知识，通过复制视觉变换器的权重并采用改进的低秩适应方法，将知识传输到学生模型中，并通过实证实验验证方法的优越性。

    Apr, 2024

  • 通过细粒度流形蒸馏学习高效视觉 Transformer

    本文提出了一种基于细粒度流形知识蒸馏的方法，旨在减少以往视觉变换器的计算量，并在 ImageNet-1k 分类基准测试中实现了 76.5％的高水平准确性。

    Jul, 2021

  • 从 CNN 提炼高效的视觉 Transformer 用于语义分割

    我们提出了一种 CNN 到 ViT 知识蒸馏框架，包括视觉语言特征蒸馏模块 (VLFD) 和像素级解耦蒸馏模块 (PDD)，实验证明我们的方法在三个语义分割基准数据集上的 mIoU 增量是最先进知识蒸馏方法的 200% 以上。

    Oct, 2023

  • 有监督的遮蔽知识蒸馏用于小样本变压器

    本文提出了一种新的有监督掩蔽知识蒸馏模型 (SMKD)，将标签信息融入到自我蒸馏框架中，通过在类和图块标记上进行内部类知识蒸馏，并引入在类内图像中对屏蔽图块标记重构的挑战性任务，我们比以前的自我监督方法实现了更好的结果，实验结果显示，我们的方法在四个 few-shot 分类基准数据集上的性能优于以往方法。

    Mar, 2023

  • DearKD：用于 Vision Transformers 的数据高效早期知识蒸馏

    本文提出了一种早期知识蒸馏框架 (DearKD)，通过从卷积神经网络的早期中间层中提取归纳偏差然后通过无蒸馏进行训练，以提高变压器所需的数据效率。我们还针对极端的零数据情况提出了一种基于 DeepInversion 的边界保留内部分歧损失，从而进一步缩小与完整数据对照组之间的性能差距。针对 ImageNet、partial ImageNet、无数据设置和其他下游任务的大量实验证明 DearKD 优于其基准和最先进的方法。

    Apr, 2022

  • 知识蒸馏：好老师耐心且一致

    本文介绍了一种用于减小大规模计算机视觉模型尺寸、同时不影响性能的知识蒸馏方法，并且明确了影响该方法有效性的设计选择。通过全面的实验研究，我们在多种视觉数据集上获得了令人信服的结果，并实现了在 ImageNet 数据集上的 ResNet-50 模型的最新表现，其 top-1 准确率为 82.8％。

    Jun, 2021

  • 高效低计算自监督视觉模型的简单配方

    本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB 通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明 RoB 在 ImageNet 数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。

    Jan, 2023

  • $V_kD:$ 使用正交投影来改进知识蒸馏

    通过特征蒸馏方法，我们的研究提出了一种新的约束特征蒸馏方法，该方法可以应用于训练小型高效的深度学习模型，并在 ImageNet 数据集上获得了显著的性能提升。

    Mar, 2024

  • 多视角知识蒸馏强鲁棒性再识别

    该研究旨在构建一种基于视角知识蒸馏（VKD）的模型，通过在 teacher-student 框架下将多种视角信息作为监督信号进行主动学习，从 Video-To-Video 到 Image-To-Video，显著提高了人、动物、车辆重识别的性能。

    Jul, 2020