ICLROct, 2022

数据增强价值的探究：关于规模定律、不变性和隐式正则化的调查

PDF
TL;DR本文旨在研究数据扩展的机制，通过评估增强数据与额外真实数据之间的交换率发现，多样而不一致的增强数据可以比额外的训练数据更有价值，在小和中型训练集上，鼓励不变性的数据扩展可以比不变性本身更有价值，并证明了增强数据在训练过程中引入额外的随机性，从而有效地平稳了损失函数。
发现论文，激发创造
  • 关于数据增强中线性变换的泛化效果

    本文考察了一系列线性变换及其对于过参数化线性回归问题中的岭回归估计量的影响，证实了保留数据标签的变换能够通过扩大训练数据空间来提高估计精度，而混合数据的变换则能够达到一种正则化效果。在此基础上，提出一种根据模型不确定性搜索变换空间的数据增强方案，并在图像和文本数据集上测试，证实了其表现优于已有的 RandAugment 方法及能够达到现有 SoTA 方法的精度。

    May, 2020

  • 数据增强再探讨：重新审视干净数据和扩充数据之间的分布差距

    利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。

    Sep, 2019

  • 小数据集有效训练的替代正则化方法

    通过使用替代的正则化策略来推动小图像分类数据集上的有监督学习，研究取得了与最先进的方法相当的测试准确率。

    Sep, 2023

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 神经网络中不变性的好处

    本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

    May, 2020

  • 数据增广一致性正则化的样本效率

    本文介绍了数据增广的 DAC 与 DA-ERM 算法，通过使用 CIFAR-100 和 WideResNet 进行实验，证明 DAC 具有更高的效率和更好的性能。

    Feb, 2022

  • 学习数据有效的具有表征不变性的动作识别

    使用不同的数据增强策略对视频进行数据增强，结合现有的半监督学习框架，能够在低标签模式下提高 Kinetics-100/400, Mini-Something-v2, UCF-101 和 HMDB-51 数据集的性能，并在完全监督的情况下证明提高了性能。

    Mar, 2021

  • 卷积神经网络上数据增强的进一步优势

    本文研究数据增强在卷积神经网络中的隐式规则效应，与显式正则化技术（如权重衰减和 Dropout）相比，数据增强能更易于适应不同的网络结构和训练数据。通过对不同网络架构和训练数据量的消融研究，我们揭示了数据增强的优势，这是长期被忽视的问题。

    Jun, 2019

  • UniformAugment: 一种无需搜索的概率数据增强方法

    本文研究数据扩增的方法及其在计算机视觉任务中的效果，提出了 UniformAugment，一种无需搜索阶段即可实现自动数据扩增的方法， 并通过标准的数据集和经典模型证明其有效性和高效性。

    Mar, 2020

  • GAN 训练的图像增强

    本研究系统地研究了不同数据扩增技术在 GAN 训练中的有效性，并提供了关于如何扩增图像以改善生成图像保真度的见解和指南。我们还发现如果在真实图像和生成图像上使用扩增技术，即使只使用原始 GAN，也可以达到与最新技术成果相当的生成质量。如果结合对比损失和一致性正则化等其他扩增技术，生成图像的质量会更进一步提高。最后，我们使用一致性正则化和对比损失来提供了 CIFAR-10 条件生成的新的最先进结果。

    Jun, 2020