Mar, 2024

基于注意力引导的特征蒸馏用于语义分割

PDF
TL;DR提出的注意力引导特征蒸馏（AttnFD）方法利用精细特征图来传递关注力，证明了其在语义分割中提取丰富信息的有效性，通过只使用教师和学生的精炼特征图之间的均方误差（MSE）损失函数，在 PascalVoc 2012 和 Cityscapes 数据集上实现了语义分割的最佳性能（mean Intersection over Union，mIoU 达到了最新水平）。
knowledge distillationfeature mapsattention-guided feature distillationconvolutional block attention modulesemantic segmentation
发现论文，激发创造
  • 光学遥感图像中基于注意力特征蒸馏的高效目标检测

    提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

    Oct, 2023

  • 基于标签引导的车道线分割注意力蒸馏

    本文提出一种基于标签引导的注意力蒸馏方法（LGAD），用于训练分割网络以更好地捕捉诸如车道标记之类的长程上下文信息。通过将标签结构信息嵌入教师网络中，并利用其注意力图作为学生网络的监督信号，能够显著提高学生网络的训练效果。

    Apr, 2023

  • 基于注意力特征匹配的知识蒸馏

    本文提出一种利用基于注意力的元网络来实现特征蒸馏的方法，该方法在不手动选择链接的情况下有效地控制了所有可能的特征对的蒸馏强度，从而提供了更好的模型压缩和迁移学习任务的性能。

    Feb, 2021

  • ATOM: 高效数据集提炼的关注力混合器

    利用 ATtentiOn Mixer (ATOM) 模块在特征匹配过程中使用混合的通道和空间注意力，以有效地精炼大型数据集，从而在各种计算机视觉数据集中展现出卓越的性能。

    May, 2024

  • 医学图像分割的多尺度自引导注意力

    采用引导自我关注机制的卷积神经网络模型对医学图像进行语义分割，能够更好地捕捉图像中的上下文依赖关系，去除冗余的信息提取并集成本地特征和全局依赖，强调相关特征关联，从而取得更好的分割效果。

    Jun, 2019

  • 层次化稠密相关蒸馏用于少样本分割 - 报告摘要

    本文提出了基于 Hierarchically Decoupled Matching Network (HDMNet) 的 Few-shot 语义分割方法，使用 transformer 架构、自注意力模块和匹配模块来实现级联匹配和关键像素级别的支持关联，且通过语义对应度实现了从粗糙分辨率到细粒度分割的相关性蒸馏，实验结果表明在 COCO 数据集中的 few-shot 语义分割任务上取得了较好的性能。

    Jun, 2023

  • TDAM: 基于上下文引导的 CNN 特征选择中的自顶向下注意力模块

    该研究提出了一种轻量级的顶部注意力模块 (TDAM)，通过迭代生成一个 “视觉探照灯”，以更多上下文相关的特征图上执行通道和空间调制，从而增强 CNN 在多个目标识别基准测试上的性能，并且能够在不需要显式监督的情况下本地化单个对象或特征。

    Nov, 2021

  • 分层密集相关蒸馏用于小样本分割

    本文提出了一种基于 transformer 架构的 Hierarchically Decoupled Matching Network（HDMNet）用于 few-shot 语义分割任务。该网络利用自注意力机制来建立层次化的密集特征并使用匹配模块降低过拟合，引入来自粗分辨率的语义对应的相关性传递，以提高细粒度的分割。在实验中该方法表现良好，在 COCO 数据集上的 1-shot 和 5-shot 分割分别达到了 50.0% 和 56.0% 的 mIoU。

    Mar, 2023

  • 检测器的焦点和全局知识蒸馏

    该论文提出前景和全局蒸馏技术（FGD），将知识蒸馏方法成功地应用于目标检测任务，通过前景蒸馏和全局蒸馏对学生网络进行训练，实现了对教师网络的知识迁移，取得了显著的 mAP 改进。

    Nov, 2021

  • 参与、提炼、检测：注意力感知的熵提炼用于异常检测

    我们提出了一种基于 DCAM（分布式卷积注意模块）的知识蒸馏方法，可以改善教师和学生网络之间的蒸馏过程，减少多类别或多对象情况下的交叉类干扰问题，并通过最小化空间维度上的相对熵和教师和学生的相同特征图之间的通道相关余弦相似性来实现尺度不变性和捕捉非线性关系。

    May, 2024