May, 2023

增强视觉 Transformer 的鲁棒性：防御性扩散

PDF
TL;DR本文介绍一种防御性扩散技术，用于消除攻击性噪声，提高 ViT 在医学应用中的可靠性。此外，本文提出将知识蒸馏与该框架相结合，以获得计算效率高且对灰盒攻击具有鲁棒性的轻量级学生模型。通过对可公开获取的结核杆菌 X 射线数据集的广泛实验，证明了我们提出的架构达到了计算效率和改进鲁棒性的目的， 超越了 SOTA 基准方法 SEViT。
medical datavitsprivacydiffusion modelknowledge distillation
发现论文，激发创造
  • SEDA：用于鲁棒性胸部 X 光分类的自我融合 ViT，包括防御蒸馏和对抗训练

    本研究的主旨是提升自包含的视觉 Transformer（ViT）在结核病胸部 X 光分类任务中的鲁棒性，通过引入有防御性的蒸馏和对抗训练的 SEDA 模型，SEDA 利用了高效的 CNN 块来从中间 ViT 块提取的特征表示中学习具有不同抽象级别的空间特征，这些特征受对抗扰动的影响较小，在公开可获取的结核病 X 光数据集上的大规模实验表明，SEDA 在计算效率上比 SEViT 更强大，框架轻巧 70 倍，并且具有更强的鲁棒性，效果提升 9%。

    Aug, 2023

  • 提升视觉 Transformer 的对抗传递性

    本研究通过提出两种攻击策略，Self-Ensemble 和 Token Refinement，充分利用了 Vision Transformers 的自注意力和组合性质来增强对抗攻击的传递性能。

    Jun, 2021

  • 提升视觉变换器的忠实度

    通过引入 Faithful ViTs 和 Denoised Diffusion Smoothing 方法，本研究改进了 Vision Transformers 在解释准确性和对抗攻击下的鲁棒性，并在维持注意力解释性方面取得了更高的可靠性。

    Nov, 2023

  • 视觉 Transformers 是强大的学习器

    本文旨在研究 Vision Transformer 对常见的图像扰动、分布偏移和自然对抗样本的稳健性，并在六个不同的 ImageNet 数据集上与 SOTA 卷积神经网络进行性能比较，通过一系列六个系统设计的实验，提供了定量和定性的分析来解释 ViT 为什么是更加稳健的学习器。

    May, 2021

  • DiffiT：用于图像生成的扩散视觉 Transformer

    本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

    Dec, 2023

  • 去噪视觉变换器

    我们提出了一种噪声模型和去噪方法来解决 Vision Transformers 中存在的网格伪影问题，该方法能有效改善模型在语义和几何任务中的性能。

    Jan, 2024

  • 原来我并不真实：走向强大的 AI 生成视频检测

    本文提出了一种用于检测由多个最先进的生成模型合成的视频的新框架，通过 CNN + LSTM 架构从扩散模型中提取显式知识的表征，并且在域内视频上实现了 93.7% 的检测准确率，并使域外视频的准确率提高了 16 个百分点。

    Jun, 2024

  • GradViT: Vision Transformers 的梯度反演

    该论文展示了视觉转换器（ViTs）对基于渐变的反演攻击的易受攻击性。作者提供了一种名为 GradViT 的方法，可以将随机噪声优化为自然图像，以通过迭代过程重建原始数据批次。作者发现 Vision Transformers 由于注意机制的存在，比之前研究过的 CNNs 容易受到攻击。作者的方法具有卓越的定量与定性表现。

    Mar, 2022

  • 关于视觉 Transformer 的对抗鲁棒性

    本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

    Mar, 2021

  • 自适应 Transformers 用于稳健的少样本跨域人脸防伪

    本文提出一种自适应视觉变换器 (ViT) 方法，利用集成适配器模块和特征转换层适应不同域的数据，从而实现跨域活体检测，并在多个基准数据集上取得了与现有方法相媲美的性能.

    Mar, 2022