优秀的学生具备合作和可靠性：CNN-Transformer 语义分割的协同学习

ICCVJul, 2023

优秀的学生具备合作和可靠性：CNN-Transformer 语义分割的协同学习

A Good Student is Cooperative and Reliable: CNN-Transformer Collaborative Learning for Semantic Segmentation

Jinjing Zhu, Yunhao Luo, Xu Zheng, Hao Wang, Lin Wang

TL;DR本文介绍了一种在线知识蒸馏框架，通过选择和交换可靠知识来协同学习基于卷积神经网络（CNN）和视觉变压器（ViT）的模型，以进行语义分割。经过大量实验验证，我们提出的框架在大幅领先于现有的在线蒸馏方法的同时，展示了 ViT 和 CNN 模型之间协同学习的有效性。

Abstract

In this paper, we strive to answer the question "how to collaboratively learn convolutional neural network (CNN)-based and vision transformer (ViT)-based models by selecting and exchanging the reliable knowledge

knowledge distillation convolutional neural network vision transformer semantic segmentation collaborative learning

发现论文，激发创造

从 CNN 提炼高效的视觉 Transformer 用于语义分割

我们提出了一种 CNN 到 ViT 知识蒸馏框架，包括视觉语言特征蒸馏模块 (VLFD) 和像素级解耦蒸馏模块 (PDD)，实验证明我们的方法在三个语义分割基准数据集上的 mIoU 增量是最先进知识蒸馏方法的 200% 以上。

Oct, 2023

ViT 特征知识蒸馏的实用指南

本文研究 Vision Transformer 的特征蒸馏方法，并提出 ViTKD 可以使基于 ImageNet 数据集的学生模型的准确率分别提升 1.64％、1.4％和 1.7％。

Sep, 2022

从 CNN-Transformer 模型中提取知识，以增强人类动作识别

通过知识蒸馏以及结合 CNN 和 ViT 模型，本研究旨在改善人体动作识别的性能和效率，从较大的教师模型向较小的学生模型传递知识，并通过引入 Transformer 视觉网络作为学生模型以及卷积网络作为教师模型，扩展了对局部图像特征和全局特征的关注，进而显著提升了动作识别的准确性和平均精度。

Nov, 2023

累积空间知识蒸馏用于视觉 Transformers

该研究提出了 Cumulative Spatial Knowledge Distillation (CSKD) 方法，它能够在不引入中间特征的情况下，从相应的 CNN 空间响应中将空间上的知识传递到 ViT 的所有补丁令牌，并在训练过程中利用 Cumulative Knowledge Fusion 模块，以更好的利用 CNN 的局部归纳偏差，在 ImageNet-1k 和下游数据集上取得了优异的表现。

Jul, 2023

多任务多尺度对比知识蒸馏在高效医学图像分割中的应用

本研究旨在探究神经网络在医学图像分割任务中的知识迁移可行性，特别关注从大规模多任务的 “教师” 网络向更小的 “学生” 网络的迁移。我们通过多尺度特征蒸馏和监督对比学习的结构，通过整合从教师模型获取的知识表示来提高学生模型的性能，并通过大量实验和消融研究评估了多尺度特征蒸馏的影响，以及不同损失对知识迁移的整体性能的影响。

Jun, 2024

目标感知 Transformer 的知识蒸馏

本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

May, 2022

双向蒸馏的多视角特征表示在对话生成中的应用

本文提出一种基于知识蒸馏的对话模型训练框架，通过分组多任务学习、多视角特征蒸馏和双向蒸馏等策略，找到多数据集共性知识以提高模型泛化性能。实验结果表明该框架可以有效地提高模型的泛化性能，而不影响训练效率。

Feb, 2021

高效语义分割的知识适应

针对语义分割中的计算效率和精度问题，本文提出一种知识蒸馏方法，利用预训练自编码器在转移潜空间内优化特征相似度，同时引入亲和力蒸馏模块以计算整个图像的远程依赖，将经典的深度 FCN 用于大步长下进行语义分割，实验证明，所提出的方法不仅可以提高小型 FCN 的精度，还可以使用较少的 FLOPS 训练出优秀的小型模型。

Mar, 2019

在线知识蒸馏的同行协作学习

该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。

Jun, 2020

提炼归纳偏见：超越模型压缩的知识蒸馏

通过集成式蒸馏方法从轻量级教师模型中蒸馏归纳偏差，我们介绍了一种创新的蒸馏方法，以支持视觉转换和文本领域之间的统一信息处理，提高了学生性能，并减轻了计算负担和提高了效率。

Sep, 2023