数据扩增:对卷积神经网络效果的深入探讨
本文研究数据增强在卷积神经网络中的隐式规则效应,与显式正则化技术(如权重衰减和 Dropout)相比,数据增强能更易于适应不同的网络结构和训练数据。通过对不同网络架构和训练数据量的消融研究,我们揭示了数据增强的优势,这是长期被忽视的问题。
Jun, 2019
本文研究了在神经网络中使用图像增强技术的效果对 ResNet 网络中不同层的影响和应用,发现使用两幅图像的增强技术显著影响网络学习,而对于采用 Imagenet-1K 权重和 fine-tuning 的深层 ResNets,各层受到的影响程度不同。
Jun, 2023
本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题,并证明该方法比已有的两种方法获得更好的精度和平均翻转比。
Feb, 2022
本文介绍了几种新颖的深度学习训练技术,如广义模型无关课程学习方法和级联加和增强方法,它们不仅能够提高训练效率并改善深度网络训练过程中的优化平滑度、鲁棒性,而且还能够为计算机视觉任务提供更好的预测性能和模型稳健性。
Nov, 2022
本文研究数据增强在图像分类中的应用,对比了多种增强技术,包括传统的裁剪、旋转和翻转以及使用 GAN 生成不同风格的图像,并提出了一种名为神经增强的方法,通过训练神经网络自学习增强,以提升分类器性能,对该方法在不同数据集上表现的优劣进行了讨论。
Dec, 2017
本文考察了一系列线性变换及其对于过参数化线性回归问题中的岭回归估计量的影响,证实了保留数据标签的变换能够通过扩大训练数据空间来提高估计精度,而混合数据的变换则能够达到一种正则化效果。在此基础上,提出一种根据模型不确定性搜索变换空间的数据增强方案,并在图像和文本数据集上测试,证实了其表现优于已有的 RandAugment 方法及能够达到现有 SoTA 方法的精度。
May, 2020
数据增强已成为视觉预训练模型的标准组成部分,用于捕捉增强视图之间的不变性。本研究通过实证研究来量化数据增强对性能的影响,发现图像的区域遮盖减少了学到的特征嵌入的不变性,同时提供了更多的多样性。手动注释不会改变学到的特征嵌入的不变性或多样性。MixUp 方法在多样性方面得到了显著改善,对不变性只有轻微的降低。
Oct, 2023
本文研究深度图像神经网络模型压缩与数据增广之间的关系,发现不同大小的模型喜欢不同大小的增广,且可以通过预测已训练模型来度量数据增广的难度,从而提出更好的数据增广策略。
May, 2023
本研究提出了基于数据层面上的集成学习方法,在 Convolutional Neural Networks 的训练集上应用将 14 种数据增强方法生成的图像构建 ensemble,其中包括了基于傅里叶变换、Radon 变换和离散余弦变换的三种新型数据增强方法。通过 11 个基准测试的比较,证明了该方法不仅与当前的最优方法竞争力度一致,有时还能超过其性能。
Jan, 2022
本文旨在研究如何纠正使用数据增强技术训练深度神经网络时所导致的图像偏差问题,作者提出了一种辅助 BatchNorm 方法,实验结果表明,使用弱增强训练的 BatchNorm 参数可以明显提高 CIFAR-10、CIFAR-100 和 ImageNet 等常见图像分类基准测试的模型性能,同时,研究还揭示了使用不同 BatchNorm 参数所带来的精度和鲁棒性之间的基本权衡关系。
Oct, 2020