Nov, 2023

DAS：一种用于捕获 CNN 中显著信息的变形注意力方法

PDF
TL;DRDAS 是一种快速且简单的全卷积方法，通过使用可变形卷积进行图片中相关区域的定位和可分离卷积实现高效，结合了现有 CNN 并通过门控机制传播相关信息，展示了在图像分类和目标检测领域，DAS 相较于其他 CNN 注意机制在减少 FLOPs 的同时取得了更好的性能提升（如在狗类数据集 Stanford Dogs 中提升了 4.47%，ImageNet 中提升了 1.91%，COCO AP 中提升了 3.3%）
convolutional neural networksself-attentiondasdeformable convolutionsgating mechanism
发现论文，激发创造
  • 反馈连接内部选择性注意力深度网络

    本文的研究成果是基于序列处理的深度注意力选择网络（dasNet），这种 CNN 结构可以利用反馈机制实现动态更改数字滤波器的灵敏度，从而获得更好的分类性能

    Jul, 2014

  • 图像变视频：通过图像转视频的可微分自动增强和融合重塑感受野

    本文提出了一种利用自动数据增强技术进行图像分类和语义分割任务的新方法，称为 Differentiable Augmentation Search (DAS)，通过生成可作为视频处理的图像变化，DAS 可以在极短的时间内搜索非常大的搜索空间，且相比标准的数据增强方法，在不同的轻量级视频骨干网络上取得更高的准确性。

    Mar, 2024

  • DASNet：双卷积全尺寸孪生注意力网络用于高分辨率卫星图像变化检测

    本文提出了一种双注意力的全卷积连体网络（DASNet），通过对远距离依赖关系的捕获，以获取更具有区分性的特征表示以提高模型的识别性能，通过惩罚注意力以不改变特征对并增加注意力以转换特征对的加权双边距离损失，以解决变化检测的样本不均衡问题，实验结果表明，与其他基线方法相比，所提出的方法在 F1 值上分别实现最大 2.1% 和 3.6% 的提升，具有较强的鲁棒性。

    Mar, 2020

  • 基于自注意力的上下文感知 3D 物体检测（SA-Det3D）

    本研究提出了两种三维物体检测的自我注意力模型，即通过将卷积特征与自我注意力特征相结合，将成对的自我注意力机制纳入最新的基于 BEV、体素和点云检测器，最终在 KITTI 验证集上证明了模型精度的一致提高，同时减少了运算量和计算成本，实现了更好的参数效率和计算效率。

    Jan, 2021

  • DAT++：具有可变形注意力的空间动态视觉变换器

    通过引入一种新的可变形多头注意力模块，Deformable Attention Transformer（DAT）有效地解决了 Transformer 模型中存在的注意力范围过大和过于手工化的问题，从而提高视觉识别任务的性能。实验证明，DAT 在各种视觉识别基准测试中取得了最先进的结果，包括 85.9% 的 ImageNet 准确率，54.5 和 47.0 的 MS-COCO 实例分割 mAP，以及 51.5 的 ADE20K 语义分割 mIoU。

    Sep, 2023

  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • ELA：深度卷积神经网络的高效局部注意力

    本篇论文提出了一种高效的局部注意力 (ELA) 方法，该方法通过引入 1D 卷积和分组归一化特征增强技术，实现了在不通过降维的情况下，精确定位感兴趣区域的目标，并且具备轻量级的实现。在 ImageNet、MSCOCO 和 Pascal VOC 数据集上的广泛评估表明，ELA 模块在图像分类、目标检测和语义分割等三个视觉任务中优于当前最先进的方法。

    Mar, 2024

  • 学习图像去雨变换网络 with 动态双自注意力

    该论文提出了一种基于 Transformer 的图像去雨算法，结合了密集和稀疏自注意力机制，通过选择最有用的相似性值和空间增强的前馈网络来提高去雨效果。实验证明了该方法的有效性。

    Aug, 2023

  • 双重关注抑制攻击：在物理世界中生成对抗伪装

    本文提出了双重关注抑制攻击 (Dual Attention Suppression，DAS) 来对抗深度学习模型中的物理对抗性样本，该方法具有模型无关性和人类特定模式，在数字和实体世界中均进行了广泛实验，表明该方法优于当前最先进的对抗性攻击方法。

    Mar, 2021

  • 循环注意力网络用于显著性检测

    本文提出了一种基于循环注意卷积 - 反卷积网络（RACDNN）的显着性检测方法，可以解决多尺度对象问题，并通过通过利用时空转换和回归网络单元来迭代地检测图片区域，从而优化检测表现，同时利用过去迭代数据来提高后续迭代的性能，在多个难以检测的数据集上验证了其有效性，并且胜过现有的显着性检测方法。

    Apr, 2016