Jul, 2023

通过对抗训练提升视觉识别的视点稳健性

PDF
TL;DR通过使用敌对训练的方法，我们提出了一种称为 VIAT 的视角不变敌对训练方法，用于改善图像分类器的视角鲁棒性，并基于 GMVFool 提供了一个大规模数据集 ImageNet-V + 来评估视角鲁棒性。实验结果表明，VIAT 通过 GMVFool 生成的多样敌对视角显著提高了各种图像分类器的视角鲁棒性，并从理论角度提出了一种可靠的视角鲁棒性方法 ViewRS。
viewpoint invarianceadversarial trainingimage classifiersgmvfoolviewpoint robustness
发现论文，激发创造
  • 通过对抗训练实现视角不变的视觉识别

    借鉴对抗训练的成功，我们提出了 “Viewpoint-Invariant Adversarial Training（VIAT）”，通过最小化期望损失来训练一个视角不变的分类器，以提高各种图像分类器的视角鲁棒性。实验证实了 GMVFool 生成的对抗视角的多样性，验证了 VIAT 在提高视角鲁棒性方面的有效性。

    Jul, 2023

  • ViewFool: 对视觉识别在对抗视角下的稳健性进行评估

    通过创建一种新的方法，称为 ViewFool，将真实世界的物体编码为神经辐射场（NeRF），该方法表征了多样化的对抗性视角分布，这些分布应用于图像分类器的评估中，进一步证明常见的图像分类器对生成的对抗性视角的脆弱性，并提出了一种新的超出分布数据集 ImageNet-V，其中包含在各种各样的架构，客观函数和数据增强中进行的 40 种分类器的评估结果揭示了模型在 ImageNet-V 上的表现大幅下降。

    Oct, 2022

  • 全景调谐：提升视角不变性的视觉语言预训练模型

    通过多视角训练数据集和架构优化，本论文成功改进了视觉语言预训练模型 (VLP) 在三维视角变化下的鲁棒性，提高了其对视角变化的不变性能力。

    Apr, 2024

  • 训练鲁棒性视觉 Transformer 的轻量级配方

    本文研究使用 Vision Transformers 架构在对抗训练中对抗外部攻击的鲁棒性问题，并使用 ImageNet 数据集的子集进行严格的消融研究，找到了一种改进后的训练方法，可以在不使用强数据增强的情况下提高模型的性能和识别鲁棒性。

    Sep, 2022

  • 基于角度正则化的视角感知损失用于人员再识别

    提出了一种 Viewpoint-Aware Loss with Angular Regularization（VA-reID）方法，通过将不同视角的特征统一到一个超球体内，有效地模型人物的特征分布，在视角和身份级别上建模.

    Dec, 2019

  • 视觉 Transformer 对抗攻击鲁棒性揭示

    本文针对 Vision Transformer 在对抗攻击下的稳健性问题进行了探究，实验证明 Vanilla ViTs 或 Hybrid-ViTs 的对抗攻击鲁棒性比 CNNs 更强。通过提供特征图、注意力图等分析，对注意力模型进行了深入理解。

    Jun, 2021

  • 金字塔对抗训练提高 ViT 模型性能

    本研究旨在提高视觉转换器的总体性能，通过实现金字塔对抗训练（PyramidAT），同时采用适配的 Dropout 和随机深度正则化技术，使在分布和越界数据分类准确性之间的权衡断裂。实验结果显示，当只使用 ImageNet-1K 数据训练 ViT-B 模型时，ImageNet 图像的清晰度准确性绝对值提高了 1.82％，同时提高了 7 个 ImageNet 鲁棒性指标，其绝对值范围从 1.76％到 15.68％。

    Nov, 2021

  • 通过柯西问题理解视觉 Transformers 的对抗稳健性

    本文通过理论证明和实证分析，探讨了 Vision Transformers 模型的稳健性，证实其在抵抗自然干扰和强攻击方面优于卷积神经网络，并且证明了模型的 Lipschitz 连续性，进一步分析了模型的关键因素和结构，发现 Multi-head Self-Attention 在抵抗弱攻击方面有所贡献，但在抵抗强攻击方面实际上会削弱模型的稳健性。

    Aug, 2022

  • 关于视觉 Transformer 的对抗鲁棒性

    本文对视觉 Transformer（ViT）的抗干扰性进行了全面的研究，发现相比于 MLP-Mixer 和卷积神经网络（CNNs），ViTs 拥有更好的对抗性鲁棒性。经过频率分析和特征可视化，发现 ViTs 所学习的特征中包含的高频模式较少，这有助于解释为什么 ViTs 对高频扰动较不敏感，并且现代 CNN 设计可以帮助填补 ViTs 和 CNNs 表现的差距。

    Mar, 2021

  • AVA: 视觉识别的对抗性暗角攻击

    本文研究了采用对抗攻击中的晕影来嵌入有意误导信息，制造自然的对抗样本，并通过物理模型下的径向各向同性和径向异向性嵌入有效的晕影区域，达到更高迁移性和更好的图像质量，攻击 4 种不同的卷积神经网络。

    May, 2021