Sep, 2019

数据增强再探讨：重新审视干净数据和扩充数据之间的分布差距

PDF
TL;DR利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。
发现论文，激发创造
  • 计算机视觉中模型鲁棒性的傅里叶视角

    计算机视觉中，通过数据增强方式可以提高鲁棒性，但增加高斯数据增强和对抗训练等方法并不能保证所有的污染类型都能同样得到提高，因此需要使用更多样的数据增强方式来缓解这些折衷。最近提出的 AutoAugment 方法在清晰精度和鲁棒性方面均得到了最佳表现。

    Jun, 2019

  • 数据增强中的泛化鸿沟：来自光照的洞见

    通过模拟分布退化，探究数据增强对模型性能的提升作用，研究发现数据增强方法显著改善了模型的性能，但仍存在明显的泛化差距，强调训练集中的特征多样性对于增强模型泛化能力的关键作用。

    Apr, 2024

  • 将监督领域泛化融入数据增强

    通过将数据增强作为监督领域泛化问题，并利用对比语义对齐损失方法，提高数据增强的鲁棒性和训练效率。实验证明，该方法改善了典型数据增强的鲁棒性和训练效率。

    Oct, 2023

  • 贝叶斯数据增强方法用于深度模型学习

    提出了一种基于贝叶斯公式，利用广义蒙特卡洛期望最大化算法和生成对抗网络的方法，能更好地生成新的标注训练样本，并在 MNIST，CIFAR-10 和 CIFAR-100 的数据集中取得了优于现有数据增强方法和 GAN 模型的分类结果。

    Oct, 2017

  • 数据增强的潜力：领域泛化的视角

    探索数据增强提高模型泛化效果的方法，从领域泛化的角度出发，揭示目前最先进数据增强方法的局限性，并探讨优化方法。结果表明，即使使用最好的数据增强技术，在训练时使用的扭曲操作也不能提供足够的鲁棒性，这表明了增强示例的未被开发的潜力。

    Jul, 2020

  • 数据增强的群论框架

    本文提出了一种理论框架，证明了数据增强等效于对保持数据分布近似不变的某一群轨道的平均操作，从而能够减少方差，研究了经验风险最小化、指数族、线性回归和某些双层神经网络这些领域中数据增强的应用。

    Jul, 2019

  • RandAugment：简化搜索空间的实用自动化数据增强

    本研究提出了一种名为 RandAugment 的自动数据增强技术，可解决现有方法可能面临的训练复杂度和调整正则化强度的问题，并能显著提高神经网络模型的准确性和鲁棒性。

    Sep, 2019

  • 自动化机器学习中的数据增强：方法与传统数据增强方法的性能比较

    该研究论文综述了基于自动机器学习（AutoML）原理的自动数据增强技术，讨论了利用 AutoML 实现数据增强的各种方法，包括数据操作、数据集成和数据合成技术，并对搜索空间设计、超参数优化和模型评估等数据增强子任务进行了广泛的讨论。最后，通过与传统增强方法基于经典方法的最新技术进行全面比较和分析，结果显示目前 AutoML 方法在数据增强方面的性能超过传统方法的最新技术。

    Mar, 2024

  • 选择数据增强以模拟干预措施

    本文从因果研究的角度出发，探讨了领域内数据缺失的问题，并提出用数据扩增方法进行干预，以此来解决数据的缺失问题。同时，本文通过理论和实证分析发现，相比其他数据扩增方法，干预模型的数据扩增方法能够更有效地提高模型的泛化性能。

    May, 2020

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在 CIFAR-10 数据集上取得最新成果，其中对于 Ε=8/255 的 l∞规范扰动，模型不使用外部数据时达到 64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021