Oct, 2021

AugMax: 随机增强的对抗组合提高训练鲁棒性

PDF
TL;DRAugMax 是一种数据增强框架，旨在将 DNNs 的鲁棒性的多样性和难度两个方面统一起来。 AugMax 首先随机采样多个增强算子，然后学习所选算子的对抗性混合。 为了解决模型训练更具挑战性的问题，作者进一步设计了一种名为 DuBIN 的解耦归一化模块。 它可以解决由 AugMax 引起的不同实例间特征异质性的问题，并且比现有技术在 CIFAR10-C，CIFAR100-C，Tiny ImageNet-C 和 ImageNet-C 上的超出分布鲁棒性方面表现更好。
data augmentationdiversityhardnessadversarial trainingnormalization
发现论文，激发创造
  • 用最大熵对抗数据增强来提高泛化能力和鲁棒性

    本文提出了基于信息瓶颈原理的最大熵正则化方法用于敌对数据增强，通过扩大模型预测不确定性来产生 “难” 的敌对扰动，提升模型鲁棒性，并在三个基准测试中实现了比现有技术显著的优越性能。

    Oct, 2020

  • 通过隐式对抗数据增强提升模型的弹性

    通过融入对抗性和反对抗性扰动分布，增强样本的深度特征，适应性调整学习困难以适应每个样本的特征。同时，开发了一种基于元学习的框架，通过引入增强的效果并跳过显式的增强过程，优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验，实证结果表明该方法始终达到最先进的性能水平，突显其广泛适应性。

    Apr, 2024

  • AugMix：一个简单的数据处理方法，用于提高鲁棒性和不确定性

    本文提出了一种名为 AugMix 的数据处理技术，该技术对图像分类器的鲁棒性和不确定性估计有显著的提高，这有助于模型抵御在部署过程中遇到的意外破坏。

    Dec, 2019

  • 仅进行数据增强即可改善对抗训练

    本文证明了，与先前的研究相反，仅凭借数据增强，可以显着提高对抗训练的准确性和鲁棒性，数据增强的多样性和难度是提高训练效果的重要因素。作者提出了新的数据增强方案，并通过实验验证，达到了对抗训练中数据增强的最佳效果。

    Jan, 2023

  • 对抗自动数据增强

    通过使用对抗性方法，Adversarial AutoAugment 能够通过同时优化目标相关对象和数据增强策略搜索损失，以便更快且更有效率地完成深度神经网络的训练及图像分类任务，从而将计算成本减少 12 倍，时间开销减少 11 倍，达到了最佳的实验成果。

    Dec, 2019

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 联合优化数据增强和网络训练：对抗数据增强在人体姿势估计中的应用

    提出对抗数据增强方法来优化神经网络模型的训练，通过生成难度较高的增强操作来让网络进行学习，实现训练的同时进行数据增强，对人体姿势估计问题进行实验测试，证明该方法能够显著提高模型性能而不需要额外的数据增强。

    May, 2018

  • 对抗自动混合

    通过交替优化分类器和混合样本生成器，我们提出了一种对抗性自动混合增强方法 AdAutomixup，用于生成具有挑战性的样本以训练强大的图像分类器，并通过引入指数移动平均教师和余弦相似度来防止图像内在意义的崩溃。大量实验证明，我们的方法在各种分类场景中优于现有技术水平。

    Dec, 2023

  • DualAug: 利用 OOD 数据拒绝扩展增强技术

    数据增强是减少模型过拟合和提高泛化性能的一种主要方法。本研究揭示了数据增强与模型性能之间的关系，提出了一种名为 DualAug 的新型数据增强方法，并通过各种实验证明其在各种自动化数据增强方法以及半监督学习和对比自监督学习中的改进效果。

    Oct, 2023

  • 可微分的增强数据策略用于数据高效的 GAN 训练

    本研究提出了一种名为 Differentiable Augmentation（DiffAugment）的方法，该方法通过对真假样本施加各种可导的增强以提高 GAN 的数据效率，有效地稳定训练，导致更好的收敛。实验表明，我们的方法具有一致的收益，可以在各种 GAN 架构和损失函数上进行无条件和条件生成。 DiffAugment 可以在只有 20％ 的训练数据情况下，在 CIFAR-10 和 CIFAR-100 上达到并匹配最高预测性能。

    Jun, 2020