CVPRMay, 2024

ATOM: 高效数据集提炼的关注力混合器

PDF
TL;DR利用 ATtentiOn Mixer (ATOM) 模块在特征匹配过程中使用混合的通道和空间注意力，以有效地精炼大型数据集，从而在各种计算机视觉数据集中展现出卓越的性能。
dataset distillationattention mixer (atom) moduleattentionfeature matchingcomputer vision datasets
发现论文，激发创造
  • DataDAM：高效数据集提炼与注意力匹配

    采用高效的数据集提炼技术 (DataDAM)，通过匹配真实数据和合成数据的不同层级生成的空间关注图，我们在多个数据集上实现了最先进的性能同时降低了训练成本。

    Sep, 2023

  • 基于注意力引导的特征蒸馏用于语义分割

    提出的注意力引导特征蒸馏（AttnFD）方法利用精细特征图来传递关注力，证明了其在语义分割中提取丰富信息的有效性，通过只使用教师和学生的精炼特征图之间的均方误差（MSE）损失函数，在 PascalVoc 2012 和 Cityscapes 数据集上实现了语义分割的最佳性能（mean Intersection over Union，mIoU 达到了最新水平）。

    Mar, 2024

  • 参与、提炼、检测：注意力感知的熵提炼用于异常检测

    我们提出了一种基于 DCAM（分布式卷积注意模块）的知识蒸馏方法，可以改善教师和学生网络之间的蒸馏过程，减少多类别或多对象情况下的交叉类干扰问题，并通过最小化空间维度上的相对熵和教师和学生的相同特征图之间的通道相关余弦相似性来实现尺度不变性和捕捉非线性关系。

    May, 2024

  • 活跃的代币混合器

    本文提出 ATMNet 模型，以 Active Token Mixer 为基础操作符，通过主动预测有用上下文的位置，并学习如何在通道级别上将这些上下文与 query token 融合，从而扩展了 token-mixing 的空间范围，提高了模型的有效性和可扩展性，实验证明 ATMNet 在各种视觉任务中均优于现有的 CNNs，Transformers 和 MLPs 等传统模型。

    Mar, 2022

  • 频率注意力知识蒸馏

    使用频域中的注意机制，在图像分类中提出了一种增强的知识蒸馏模型，可以从复杂的教师模型中提取全局信息，并在各种教师和学生架构上实验证明本方法优于其他知识蒸馏方法。

    Mar, 2024

  • AttaNet: 一种用于快速和精准场景解析的注意力增强网络

    提出了一种新的模型，称为 AttaNet，用于在保持高效的同时捕获全局上下文和多级语义，通过 Strip Attention 模块和 Attention Fusion 模块实现低复杂度计算和加权特征融合技术，并在两个语义分割基准测试中进行了广泛的实验，取得了不同水平的速度 / 精度平衡和领先的表现。

    Mar, 2021

  • 基于注意力特征匹配的知识蒸馏

    本文提出一种利用基于注意力的元网络来实现特征蒸馏的方法，该方法在不手动选择链接的情况下有效地控制了所有可能的特征对的蒸馏强度，从而提供了更好的模型压缩和迁移学习任务的性能。

    Feb, 2021

  • 对齐蒸馏：神经机器翻译中用于知识蒸馏的可训练注意力对齐

    通过学生模型与教师模型的自适应对齐，'Align-to-Distill'（A2D）策略在 Transformer 架构的知识蒸馏中解决了特征映射问题，实验证明 A2D 相较于 Transformer 基准模型，在 WMT-2022 的 De->Dsb 和 WMT-2014 的 En->De 翻译任务中分别获得了 + 3.61 和 + 0.63 BLEU 得分的提升。

    Mar, 2024

  • 光学遥感图像中基于注意力特征蒸馏的高效目标检测

    提出了一种新的注重注意力的特征蒸馏（AFD）方法，通过从教师检测器中蒸馏本地和全局信息，实现了目标检测模型在资源有限的边缘设备上的高效性能。

    Oct, 2023

  • 目标感知 Transformer 的知识蒸馏

    本篇论文提出了一种新型的知识蒸馏方法，采用一对所有的空间匹配，提高小型神经网络的性能，不同于以往的一对一的空间匹配，从而导致所有的空间位置通常都具有不同的语义信息。该方法在各种计算机视觉基准测试中都超过了最先进的方法。

    May, 2022