ICMLMay, 2020

关于数据增强中线性变换的泛化效果

PDF
TL;DR本文考察了一系列线性变换及其对于过参数化线性回归问题中的岭回归估计量的影响，证实了保留数据标签的变换能够通过扩大训练数据空间来提高估计精度，而混合数据的变换则能够达到一种正则化效果。在此基础上，提出一种根据模型不确定性搜索变换空间的数据增强方案，并在图像和文本数据集上测试，证实了其表现优于已有的 RandAugment 方法及能够达到现有 SoTA 方法的精度。
发现论文，激发创造
  • 学习为数据增强编写领域特定变换

    利用生成对抗算法学习序列模型来自动生成数据增强方法，有效提高图片和文本数据集的识别准确度。

    Sep, 2017

  • 贝叶斯数据增强方法用于深度模型学习

    提出了一种基于贝叶斯公式，利用广义蒙特卡洛期望最大化算法和生成对抗网络的方法，能更好地生成新的标注训练样本，并在 MNIST，CIFAR-10 和 CIFAR-100 的数据集中取得了优于现有数据增强方法和 GAN 模型的分类结果。

    Oct, 2017

  • 改进混合样例数据增强

    通过探索一种更加广义的混合样本数据增强方法，可以发现一大类实用的数据增强技术，包括超越之前最先进技术的方法，从而提高性能，并表明当前的有效性理论是不完整的，建立这种理论必须解释更广泛的现象。

    May, 2018

  • 数据增强价值的探究：关于规模定律、不变性和隐式正则化的调查

    本文旨在研究数据扩展的机制，通过评估增强数据与额外真实数据之间的交换率发现，多样而不一致的增强数据可以比额外的训练数据更有价值，在小和中型训练集上，鼓励不变性的数据扩展可以比不变性本身更有价值，并证明了增强数据在训练过程中引入额外的随机性，从而有效地平稳了损失函数。

    Oct, 2022

  • 文本分类数据增强调查

    本文旨在提高机器学习分类系统的泛化能力，通过对数据进行转换的方式来人工创建训练数据，从而增强数据的多样性，该文章就在「文本分类」中，对数据增强方法及其应用目标做了详细概述与分类，最终针对相关领域，提出建设性思路方向。

    Jul, 2021

  • 数据增强再探讨：重新审视干净数据和扩充数据之间的分布差距

    利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。

    Sep, 2019

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 数据增强能提高稳健性

    本文研究减轻对抗训练中的过拟合现象，使用常见的数据增强方案，证明数据增强与模型平均结合可以显著提高鲁棒性，尤其是空间组合技术的效果最佳，最终在 CIFAR-10、CIFAR-100、SVHN 和 TinyImageNet 上得到了明显的性能提升。

    Nov, 2021

  • 数据增强的群论框架

    本文提出了一种理论框架，证明了数据增强等效于对保持数据分布近似不变的某一群轨道的平均操作，从而能够减少方差，研究了经验风险最小化、指数族、线性回归和某些双层神经网络这些领域中数据增强的应用。

    Jul, 2019

  • RandAugment：简化搜索空间的实用自动化数据增强

    本研究提出了一种名为 RandAugment 的自动数据增强技术，可解决现有方法可能面临的训练复杂度和调整正则化强度的问题，并能显著提高神经网络模型的准确性和鲁棒性。

    Sep, 2019