Jan, 2024

基于注意力细化的面向基于补丁攻击的鲁棒语义分割

PDF
TL;DR通过引入 Max Attention Suppression 和 Random Attention Dropout 两个新模块，我们提出了一种名为 Robust Attention Mechanism (RAM) 的方法，用于改善语义分割模型的鲁棒性，显著提高对各种基于 patch 的攻击方法的防御能力。
attention mechanismsemantic segmentationadversarial attacksrobust attention mechanismpatch-based attacks
发现论文，激发创造
  • 利用连续注意力模型实现鲁棒性图像分类

    本文提出了一种受人类感知启发的注意力模型，并将其融合到现代神经网络架构中。实验结果表明，引入注意力机制可以显著提高模型的对抗鲁棒性，在各种随机攻击强度下可以达到最先进的 ImageNet 准确度；通过控制注意力步骤的数量可以使模型的防御能力更强，并且可以对抗更强的攻击；攻击模型生成的对抗样本有着与传统对抗样本不同的全局、显著和空间一致的结构，这些结构来自目标类别并且甚至可以被人类识别，会使模型注意力从原始图像中的主要物体分散开来。

    Dec, 2019

  • 利用注意力机制进行基于补丁的生物医学图像分类

    医学图像分析可以通过一种扎根于自注意机制的创新架构得到促进。传统的卷积神经网络（CNN）在捕捉像素级复杂空间和时间关系时需要帮助，而其卷积窗口的固定大小限制了输入波动。为了克服这些限制，我们提出了基于注意力模型而非卷积的新范式。这些模型作为传统 CNN 的替代品，表现出强大的建模能力和高效获取全局长范围上下文信息的能力。通过将非重叠（vanilla patching）和新颖的重叠移位补丁技术（S.P.T.s）相结合，我们的工作提供了一种解决注意力视觉模型所面临的关键挑战的方法，包括归纳偏差、权重共享、感受野限制和高分辨率数据处理。此外，我们还研究了适应不同图像尺寸到更高分辨率的新颖 Lancoz5 插值技术。实验证据验证了我们模型的一般化效果，并与现有方法进行了有利比较。特别是在充足数据的情况下，基于注意力的方法特别有效，尤其是在集成先进的数据增强方法来增强它们的鲁棒性时。

    Apr, 2024

  • RAMS-Trans: 基于循环注意力多尺度变换器进行细粒度图像识别

    通过使用注意力权重来测量原始图像对应的补丁符记的重要性，我们提出了递归注意力多尺度转换器 (RAMS-Trans)，它使用变压器的自我注意力以多尺度的方式递归地学习区分地区的注意力。

    Jul, 2021

  • Vision Transformer 对补丁扰动具有鲁棒性吗？

    该论文基于自然污染和对抗攻击的影响，研究了视觉变压器（ViT）和卷积神经网络（CNN）在图像分类中的表现，发现 ViTs 对自然污染更具鲁棒性，但易受对抗性攻击，然后提出了一种简单的基于温度缩放的方法来提高 ViT 对对抗性攻击的鲁棒性。

    Nov, 2021

  • 使用 Transformer 进行高分辨率图像分割的自适应修补

    使用自适应网格细化方法 (Adapative Mesh Refinement, AMR) 可以作为图像细分的预处理步骤，基于图像细节自适应地划分图像补丁，从而减少传给模型的补丁数量。该方法与任何基于注意力的模型无缝地配合使用，能够在实际病理数据集上展示出优于现有技术的分割质量，并在分辨率高达 64K²，最多 2048 个 GPU 的情况下获得 6.9 倍的几何平均加速。

    Apr, 2024

  • 给我你的关注：考虑对抗性补丁鲁棒性时应避免使用点乘注意力

    基于注意力机制的神经结构如视觉变换器正在革新图像识别，但该研究发现当其面临对抗补丁攻击时，全局性推理会成为一个重大漏洞，并提供了新的对抗目标，针对该漏洞制造对抗补丁，并在多个模型上验证了其有效性。

    Mar, 2022

  • 自主驾驶实时语义分割模型的现实世界的对抗鲁棒性

    该研究评估并提出改进方法，以提高当受到数字、模拟和实际的对抗性补丁攻击时，对语义分割模型的稳健性。研究结果表明，尽管对抗效果在数字和真实攻击中可见，但其影响通常局限于图像周围的补丁区域，这就打开了进一步探讨实时语义分割模型的空间鲁棒性的问题。

    Jan, 2022

  • Patchwork: 基于分块注意力网络的视频流高效物体检测和分割

    本文提出一种针对延迟敏感应用的硬关注机制，通过选择和处理框架的一个小子窗口，预测整个框架的结果，使得该方法在不影响准确性的前提下减少了大约四倍的延迟，并且使用特殊的内存单元和策略训练策略进一步提高了性能。

    Apr, 2019

  • Patch-Fool：Vision Transformer 是否总是对对抗性扰动具有稳健性？

    本论文探讨了 ViTs 和 CNNs 在面对各种对抗攻击时的鲁棒性及其背后的因素，提出了一种名为 Patch-Fool 的攻击框架，通过对单个 patch 进行一系列 attention-aware 优化技术的攻击来愚弄其 self-attention 机制，并发现在 Patch-Fool 攻击下，ViTs 不一定比 CNNs 更具鲁棒性。

    Mar, 2022

  • 注意力不足有序化！通过合作对抗修补欺骗可变形视觉 Transformer

    在本研究中，我们首次针对变形 Transformer 模型进行了注意力劫持的对抗攻击，我们证明了这些攻击不会传递到变形 Transformer，这是由于其稀疏的注意力结构。我们的实验表明，仅对输入领域的 1% 施加了修复区域就能导致 0% 的 AP，并且我们还展示了这些攻击能够有效支持不同的攻击者场景，因为它们能够在攻击者的控制下重定向注意力。

    Nov, 2023