Jun, 2019

计算机视觉中模型鲁棒性的傅里叶视角

PDF
TL;DR计算机视觉中，通过数据增强方式可以提高鲁棒性，但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高，因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。
computer visiondata augmentationrobustnessgaussian data augmentationautoaugment
发现论文，激发创造
  • 仅进行数据增强即可改善对抗训练

    本文证明了，与先前的研究相反，仅凭借数据增强，可以显着提高对抗训练的准确性和鲁棒性，数据增强的多样性和难度是提高训练效果的重要因素。作者提出了新的数据增强方案，并通过实验验证，达到了对抗训练中数据增强的最佳效果。

    Jan, 2023

  • 稳健性的多重面貌：对于越界泛化的关键分析

    本研究介绍了四个新的现实世界分布变化数据集，重点探讨了先前提出的改进模型鲁棒性方法，并测试了它们的有效性。我们发现使用更大的模型和人工数据增强可以提高真实世界分布变化的鲁棒性，这与之前的研究不同。我们的研究结果表明，未来的研究必须同时研究多个分布变化，因为我们证明评估的方法不能始终提高模型的鲁棒性。

    Jun, 2020

  • 使用频率偏置模型提高对通用损坏的鲁棒性

    本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法，成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务，同时提升了在受损图像方面的鲁棒性。

    Mar, 2021

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 数据增强再探讨：重新审视干净数据和扩充数据之间的分布差距

    利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。

    Sep, 2019

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021

  • 关于数据增强与随机扰动对自然语言处理鲁棒性的影响

    本文利用最小样本距离等方法，探究了数据增强和测试时图像扭曲之间的关系，并提出了测试时图像扭曲和数据增强之间的感知相似度的概念。结果表明，基于感知相似的数据增强可以提高对图像扭曲的鲁棒性，并强调数据增强在图像扭曲鲁棒性方面的重要性。

    Feb, 2021

  • 使用补丁高斯扩充提高健壮性而不牺牲准确性

    本文介绍了一种名为 Patch Gaussian 的数据增强方法，通过随机添加高斯噪声来提高模型的鲁棒性，并在 CIFAR-10 和 ImageNet 数据集上取得了最先进的结果，在 COCO 目标检测基准测试中也有不错的表现。

    Jun, 2019

  • 关于形状偏差、准确性和鲁棒性之间关系的澄清

    通过评估 39 种数据增强类型对广泛使用的 OOD 数据集的影响，证明了每种数据增强对模型对 OOD 数据的鲁棒性的影响，并进一步证明了所述假设不成立；形状偏差的增加不一定导致更高的 OOD 鲁棒性。通过分析结果，还发现 ImageNet-1K 数据集中的一些偏差可以通过适当的数据增强来减小。我们的评估结果进一步表明，域内准确性和 OOD 鲁棒性之间不一定存在权衡，选择适当的增强方法可以同时提高域内准确性和 OOD 鲁棒性。

    Jun, 2024

  • 基于认证的对抗防御遇到了基于分布外的干扰：鲁棒性评估和简单基准

    本文通过实验研究证实，基于随机平滑的认证方法对于最新的认证稳健模型在处理低频 OOD 数据（如天气相关干扰）时具有未知的脆弱性，提出了一种新的数据扩充方案 —— FourierMix，通过改善训练数据的光谱覆盖范围来消除认证稳健模型的光谱偏差，并建立了一个全面的基准测试套件，证明 FourierMix 训练的模型在整个频谱范围内优于流行的扩增方法。

    Dec, 2021