何时学习什么：模型自适应数据增强课程

Sep, 2023

何时学习什么：模型自适应数据增强课程

When to Learn What: Model-Adaptive Data Augmentation Curriculum

Chengkai Hou, Jieyu Zhang, Tianyi Zhou

TL;DR模型自适应数据增强（MADAug）是一种通过训练数据增强策略网络来向模型教授何时学习何事的方法，旨在优化泛化性能。MADAug 通过模型自适应策略在训练阶段选择每个输入图像的增强操作，构建逐步优化的数据增强课程。在多个图像分类任务中，MADAug 在性能上超过或与其他基线方法相媲美，并且在所有类别中都能带来改进，特别是对于难分类的类别。此外，MADAug 的策略在转移到细粒度数据集时表现更好，逐渐引入越来越大的扰动，并自然地形成一个从简单到困难的课程。

Abstract

data augmentation (DA) is widely used to improve the generalization of neural networks by enforcing the invariances and symmetries to pre-defined transformations applied to input data. However, a fixed augmentation policy may have different effects on each sample in different training

data augmentation neural networks model adaptive data augmentations image classification

发现论文，激发创造

AdaAugment：一种无需调优的自适应数据增强方法

AdaAugment 是一种无需调参的创新自适应增强方法，利用强化学习根据目标网络的实时反馈动态调整个别训练样本的增强程度，通过优化策略网络和目标网络的联合来有效适应增强程度，从而在效果和效率上一致性地优于其他最先进的数据增强方法。

May, 2024

对抗自动数据增强

通过使用对抗性方法，Adversarial AutoAugment 能够通过同时优化目标相关对象和数据增强策略搜索损失，以便更快且更有效率地完成深度神经网络的训练及图像分类任务，从而将计算成本减少 12 倍，时间开销减少 11 倍，达到了最佳的实验成果。

Dec, 2019

DADA: 可微分自动数据增强

本研究提出 Differentiable Automatic Data Augmentation (DADA) 算法，使用 Gumbel-Softmax 方法实现对离散的数据增强方法的选择，引入 RELAX 无偏梯度估计方法，提高了数据增强策略的学习效率。在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 数据集上的实验证明了该算法在达到同等精度的情况下，比现有最先进算法至少快一个数量级。同时，研究还证明了自动数据增强在预训练方面的价值。

Mar, 2020

学习更少，学得更好：有效增强对视觉强化学习的样本效率

本文探究了数据增强技术在视觉强化学习中的有效性，研究数据增强的相关特征对样本效率的影响并提出了新的操作方法 Random PadResize 和循环增强（Cycling Augmentation）以提高样本利用效率。在 DeepMind 控制套件和 CARLA 驾驶模拟器上的广泛评估表明，与先前的最先进方法相比，我们的方法实现了更好的样本效率。

May, 2023

基于深度学习的有限数据加速 MRI 重建中的数据增强

本研究针对医学图像重建问题，提出了一种数据增强（DA）的方法 MRAugment，通过多项实验证明，在训练数据较少的情况下，MRAugment 能有效地防止过拟合并达到甚至超过目前最新技术水平；而在大量训练数据下，MRAugment 的效果则有所降低。此外，研究结果还表明，DA 方法能提高模型对于测试数据偏移的鲁棒性。

Jun, 2021

AutoAugment: 从数据中学习增强策略

本文介绍了一种自动搜索图像数据增强策略，使用神经网络在目标数据集上产生最高准确性，并在 CIFAR-10，CIFAR-100，SVHN 和 ImageNet 数据集上实现了最先进的准确性，同时找到的增强策略可在不同数据集间转移学习。

May, 2018

贝叶斯数据增强方法用于深度模型学习

提出了一种基于贝叶斯公式，利用广义蒙特卡洛期望最大化算法和生成对抗网络的方法，能更好地生成新的标注训练样本，并在 MNIST，CIFAR-10 和 CIFAR-100 的数据集中取得了优于现有数据增强方法和 GAN 模型的分类结果。

Oct, 2017

对抗数据增强用于鲁棒的说话人验证

本文提出了一种名为对抗数据增强（A-DA）的新方法，将数据增强与对抗学习相结合，通过额外的分类器对不同类型的增强进行分类，使得网络能够生成能够欺骗分类器的说话者嵌入，从而提升模型对于增强变化的鲁棒性和泛化能力。在 VoxCeleb 和 CN-Celeb 数据集上的实验证明了我们提出的 A-DA 方法在匹配和不匹配的测试条件下均优于标准数据增强方法，展示了其对于声学变化的卓越鲁棒性和泛化能力。

Feb, 2024

对比学习的自适应数据增强

本研究提出了一种名为 AdDA 的自适应数据增强（Adaptive Data Augmentation）方法，通过在训练过程中实时反馈调整数据增强的组合，优化对比学习网络的表示学习效果，并在 ImageNet-100 数据集上进行了测试。

Apr, 2023

MetaAugment: 样本感知数据增强策略学习

本文提出了一种以样本为基础的数据增强策略，采用元学习解决数据增强效果与样本间变异之间的平衡问题，并在 CIFAR-10/100、Omniglot、ImageNet 等数据集上通过实验证明了其优越性能。

Dec, 2020