Robustmix: 通过正则化深度网路频率偏差提高鲁棒性

Apr, 2023

Robustmix: 通过正则化深度网路频率偏差提高鲁棒性

Robustmix: Improving Robustness by Regularizing the Frequency Bias of Deep Nets

Jonas Ngnawe, Marianne ABEMGNIGNI NJIFON, Jonathan Heek, Yann Dauphin

TL;DR本研究提出一种名为 Robustmix 的新型混合扩充方法，通过正则化网络以分类基于较低频空间特征。结果表明，这种正则化方法在诸如 Imagenet-C 和 Styleized ImageNet 等多个测验中提高了网络的鲁棒性，且有利于有效减少计算负荷。使用 EfficientNet-B8 模型和 RandAugment 方法获得了最先进的 mCE 达到 44.8，比基准线降低 16 mCE。

Abstract

deep networks have achieved impressive results on a range of well-curated benchmark datasets. Surprisingly, their performance remains sensitive to perturbations that have little effect on human performance. In this work, we propose a novel extension of Mixup called →

deep networks robustmix regularization imagenet-c efficientnet-b8

发现论文，激发创造

mixup：超越经验风险最小化

这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

Oct, 2017

RegMixup：使用 Mixup 作为正则化器，出乎意料地可以提高精度和外部数据稳健性

利用 Mixup 作为标准交叉熵损失的额外正则化器，可以提高其精确度并在各种协变量转移和超出分布检测实验中显著提高其预测不确定性的质量。通过对视觉数据集 (ImageNet ＆ CIFAR-10/100) 的深入分析和实验来展示我们的方法（RegMixup）的功效，并与一系列最新方法进行比较，以实现可靠的不确定性估计。

Jun, 2022

AugMix：一个简单的数据处理方法，用于提高鲁棒性和不确定性

本文提出了一种名为 AugMix 的数据处理技术，该技术对图像分类器的鲁棒性和不确定性估计有显著的提高，这有助于模型抵御在部署过程中遇到的意外破坏。

Dec, 2019

Remix：重平衡的混合数据增强方法

本文提出了一种名为 Remix 的新的正则化技术，它在深度图像分类器的分类不平衡的情况下可以使得深度图像分类器表现更好，并在多组实验中证实了 Remix 相较于现有的 Mixup、Manifold Mixup 和 CutMix 等算法在这个问题上的优越性。

Jul, 2020

IPMix：用于训练鲁棒分类器的标签保持数据增强方法

IPMix 提供了一种简单且可用于提高神经网络的鲁棒性的数据增强方法，通过整合图像级、补丁级和像素级三层数据增强，并引入结构复杂性和随机混合方法以扩大训练数据的多样性，实现在多个评估参数上的优越性能。

Oct, 2023

CutMix: 用可定位特征的正则化策略训练强分类器

该论文提出了一种名为 CutMix 的数据增强策略，该策略结合了区域 dropout 策略和图像贴图技巧，其旨在提高卷积神经网络的分类性能，改善对象定位和提高网络的鲁棒性。实验结果显示，CutMix 方法在 ImageNet 数据集上的分类任务中能够持续地超越当前领先的数据增强方法，同时还能提高由其预训练的分类器在 Pascal 检测和 MSCOCO 图像字幕生成等任务中的表现。

May, 2019

使用频率偏置模型提高对通用损坏的鲁棒性

本文提出了两种高 / 低频鲁棒性混合的专家模型以及一种最小化卷积特征图总变差 (TV) 的正则化方法，成功应用于诸如 ImageNet-C 以及汽车数据集等多种实际环境的图像分类和目标检测任务，同时提升了在受损图像方面的鲁棒性。

Mar, 2021

关于 Mixup 正则化

本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

Jun, 2020

频率偏差如何影响神经图像分类器对于常见干扰及对抗扰动的鲁棒性？

本研究提出通过 Jacobian 频率正则化方法对深度学习模型频率偏差与鲁棒性之间的直接关系进行研究，实验证明偏向低（高）频分量能够提高分类器对高（低）频污染和对抗扰动的鲁棒性，但在低（高）频污染的性能方面存在折衷。

May, 2022

高度不平衡医学图像分类的平衡 MixUp

提出一种基于 MixUp 正则化技术的平衡采样机制，称为 Balanced-MixUp，可以同时对训练数据进行正常（基于实例）和平衡（基于类）采样，使神经网络可以有效地学习高度不平衡的医学图像分类数据集。实验结果表明，Balanced-MixUp 优于其他常规采样方案和针对不平衡数据设计的损失函数。

Sep, 2021