DADA: 可微分自动数据增强

Mar, 2020

DADA: Differentiable Automatic Data Augmentation

Yonggang Li, Guosheng Hu, Yongtao Wang, Timothy Hospedales, Neil M. Robertson...

TL;DR本研究提出 Differentiable Automatic Data Augmentation (DADA) 算法，使用 Gumbel-Softmax 方法实现对离散的数据增强方法的选择，引入 RELAX 无偏梯度估计方法，提高了数据增强策略的学习效率。在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 数据集上的实验证明了该算法在达到同等精度的情况下，比现有最先进算法至少快一个数量级。同时，研究还证明了自动数据增强在预训练方面的价值。

Abstract

data augmentation (DA) techniques aim to increase data variability, and thus train deep networks with better generalisation. The pioneering AutoAugment automated the search for optimal DA policies with reinforcement learning. However, AutoAugment is extremely computationally expensive,

data augmentation deep learning differentiable optimization gumbel-softmax image classification

发现论文，激发创造

直接可微增强搜索

本研究使用基于 AutoML 的技术提出了一种高效的可微分搜索算法，称为 DDAS，它能够在图像分类基准测试上取得与 AutoAugment 可比的性能，同时大大降低了搜索成本。

Apr, 2021

DADA: 极低数据量分类的深度对抗数据增强

本文针对数据稀缺问题提出了一种基于生成式对抗网络的深度数据增广技术（DADA），该方法中新的判别器损失函数使得生成的数据样本能够帮助训练，并将 DADA 与传统增广、GAN 等方法比较实验证明，DADA 方法在实际情况中训练深度神经网络的泛化能力上具有更优越的能力.

Aug, 2018

对抗自动数据增强

通过使用对抗性方法，Adversarial AutoAugment 能够通过同时优化目标相关对象和数据增强策略搜索损失，以便更快且更有效率地完成深度神经网络的训练及图像分类任务，从而将计算成本减少 12 倍，时间开销减少 11 倍，达到了最佳的实验成果。

Dec, 2019

AdaAugment：一种无需调优的自适应数据增强方法

AdaAugment 是一种无需调参的创新自适应增强方法，利用强化学习根据目标网络的实时反馈动态调整个别训练样本的增强程度，通过优化策略网络和目标网络的联合来有效适应增强程度，从而在效果和效率上一致性地优于其他最先进的数据增强方法。

May, 2024

何时学习什么：模型自适应数据增强课程

模型自适应数据增强（MADAug）是一种通过训练数据增强策略网络来向模型教授何时学习何事的方法，旨在优化泛化性能。MADAug 通过模型自适应策略在训练阶段选择每个输入图像的增强操作，构建逐步优化的数据增强课程。在多个图像分类任务中，MADAug 在性能上超过或与其他基线方法相媲美，并且在所有类别中都能带来改进，特别是对于难分类的类别。此外，MADAug 的策略在转移到细粒度数据集时表现更好，逐渐引入越来越大的扰动，并自然地形成一个从简单到困难的课程。

Sep, 2023

学习更少，学得更好：有效增强对视觉强化学习的样本效率

本文探究了数据增强技术在视觉强化学习中的有效性，研究数据增强的相关特征对样本效率的影响并提出了新的操作方法 Random PadResize 和循环增强（Cycling Augmentation）以提高样本利用效率。在 DeepMind 控制套件和 CARLA 驾驶模拟器上的广泛评估表明，与先前的最先进方法相比，我们的方法实现了更好的样本效率。

May, 2023

AutoDO: 基于可扩展概率隐式微分的鲁棒性标准化数据自适应增强方法

AutoDO 可用于深度学习模型的自动数据扩充，通过对损失权重、软标签等超参数进行联合估计来最小化测试数据和失真的训练数据之间的分布偏移，实现了偏差数据和标签噪音下的机器学习模型优化，相较于之前的方法，有着多达 9.3% 的准确度提升，并且在 SVHN 分类优化上达到了 36.6% 的增益。

Mar, 2021

深层 AutoAugment

Deep AutoAugment 提供了一种全自动的数据增强搜索方法，通过高效的搜索方法可制定高效的数据增强策略，获得了强大的性能表现。

Mar, 2022

AROID：通过在线逐实例数据增强提高对抗鲁棒性

该论文提出了一种新的方法，通过在线实例化学习数据增强策略来提高 Deep neural networks 的 Adversarial training 的鲁棒性，在多个模型结构和数据集上成功地超越了现有的竞争性数据增强方法。

Jun, 2023

使用反向传播学习增强策略的更快自动增强

本文提出了一种可微分的策略搜索方法，用于数据增强，该方法比之前的方法更快，使用的是离散参数变换的近似梯度和可分辨操作选择机制。我们的方法通过最小化增强数据与原始数据之间的分布距离来优化，比之前的工作实现了显著更快的搜索，而不会出现性能下降。

Nov, 2019