Jun, 2023

使用补丁混合将 ViT 补丁选择性硬连到 CNN 中

PDF
TL;DR本研究使用 Patch Mixing 数据增强方法，旨在探讨是否可以通过有效地硬连中的归纳偏差，使 CNNs 模拟出 ViTs 的图像选片能力，结果显示 ViTs 不会因 Patch Mixing 而改善或恶化，但 CNN 将获得忽略非上下文信息和改进遮挡基准的新功能，在 CNNs 中模拟 ViTs 的能力，因此 Patch Mixing 是一种模拟 ViTs 能力的方式。
vision transformersconvolutional neural networksinductive biaspatch mixingocclusion
发现论文，激发创造
  • 补丁是你所需的全部？

    本文介绍 ConvMixer 模型，它使用标准卷积来混合图像块，并在类似参数计数和数据集大小的情况下胜过 ViT、MLP-Mixer 和一些变种，同时也优于经典的 ResNet 等视觉模型。

    Jan, 2022

  • Vision Transformer 对补丁扰动具有鲁棒性吗？

    该论文基于自然污染和对抗攻击的影响，研究了视觉变压器（ViT）和卷积神经网络（CNN）在图像分类中的表现，发现 ViTs 对自然污染更具鲁棒性，但易受对抗性攻击，然后提出了一种简单的基于温度缩放的方法来提高 ViT 对对抗性攻击的鲁棒性。

    Nov, 2021

  • 视觉 Transformer 的引人注目的性质

    本文旨在分析分析 ViT 模型中自注意力机制对于图像处理中的处理噪声和疑问具有的灵活度，并探讨基于形状编码的图像编码方法，以及使用 ViT 以无需像素级监督的方式实现准确的语义分割。

    May, 2021

  • 通过补丁选择实现人体姿势估计的高效视觉变换器

    提出了一种用于减少 Vision Transformers 计算复杂度的简单方法，通过选择和处理最有信息的小片段，我们将二维人体姿态估计网络的结果作为指导进行小片段的选择，实验结果表明这种方法在显著提高速度和减少计算复杂度方面非常有效，而且性能略微下降。

    Jun, 2023

  • 查询高效的硬标签黑盒攻击视觉变换器

    本文研究视觉变换器（ViTs）在黑盒情况下对抗性攻击的脆弱性，并提出了一种名为 AdvViT 的新型查询高效的硬标签对抗性攻击方法，通过优化各个图像块的对抗扰动来降低扰动搜索空间的维度，并设计了一个权重掩码矩阵来进一步优化整个图像不同区域的扰动。实验结果表明，与对卷积神经网络的最新攻击相比，我们的 AdvViT 在相同查询预算下具有较低的 L2 范数扭曲，充分验证了 ViTs 在对抗性攻击下的脆弱性。

    Jun, 2024

  • Patch-Fool：Vision Transformer 是否总是对对抗性扰动具有稳健性？

    本论文探讨了 ViTs 和 CNNs 在面对各种对抗攻击时的鲁棒性及其背后的因素，提出了一种名为 Patch-Fool 的攻击框架，通过对单个 patch 进行一系列 attention-aware 优化技术的攻击来愚弄其 self-attention 机制，并发现在 Patch-Fool 攻击下，ViTs 不一定比 CNNs 更具鲁棒性。

    Mar, 2022

  • 在小数据集上通过本地归纳偏置引入提高视觉 Transformer 的性能

    本文提出基于自注意力块的局部信息增强模块 LIFE，通过提取补丁级别的局部信息并将其合并到 ViTs 的嵌入中，在小尺寸图像分类数据集上改进了 ViTs 的性能，并将其推广到目标检测和语义分割等下游任务，在此基础上，引入了一种新的可视化方法 —— 密集注意力 Roll-Out，特别适用于密集预测任务。

    May, 2023

  • 提升视觉 Transformer 的对抗传递性

    本研究通过提出两种攻击策略，Self-Ensemble 和 Token Refinement，充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。

    Jun, 2021

  • 关于视觉 Transformer 的对抗鲁棒性

    本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

    Mar, 2021

  • 对比学习中的实例相似度建模

    本文提出了一种新的图像混合方法 PatchMix，用于对比学习中的视觉 Transformer，以对图像之间的相似性进行建模，并证明该方法比现有的方法在多项实验中表现更好。

    Jun, 2023