Oct, 2020

数据增广是否受益于分段批归一化

HTML
PDF
TL;DR本文旨在研究如何纠正使用数据增强技术训练深度神经网络时所导致的图像偏差问题，作者提出了一种辅助BatchNorm方法，实验结果表明，使用弱增强训练的BatchNorm参数可以明显提高CIFAR-10、CIFAR-100和ImageNet等常见图像分类基准测试的模型性能，同时，研究还揭示了使用不同BatchNorm参数所带来的精度和鲁棒性之间的基本权衡关系。
发现论文，激发创造
  • 使用深度学习进行图像分类中数据增强的有效性

    本文研究数据增强在图像分类中的应用，对比了多种增强技术，包括传统的裁剪、旋转和翻转以及使用GAN生成不同风格的图像，并提出了一种名为神经增强的方法，通过训练神经网络自学习增强，以提升分类器性能，对该方法在不同数据集上表现的优劣进行了讨论。

    Dec, 2017

  • 批量归一化如何帮助优化？

    本文探讨了批量归一化（BatchNorm）对深度神经网络（DNN）训练的影响及原因，发现BatchNorm的成功并不在于控制层输入分布的稳定性，而是在于它让优化的过程变得更加平滑，从而使梯度更加稳定和可预测，加快了训练速度。

    May, 2018

  • 增加你的批量：更大批量训练有更好效果

    本文提出一种基于批增广的优化算法，可以应用于深度学习的大批量 SGD 训练中，减少了必要的 SGD 更新数量，提高了训练速度和泛化能力。

    Jan, 2019

  • 卷积神经网络上数据增强的进一步优势

    本文研究数据增强在卷积神经网络中的隐式规则效应，与显式正则化技术（如权重衰减和Dropout）相比，数据增强能更易于适应不同的网络结构和训练数据。通过对不同网络架构和训练数据量的消融研究，我们揭示了数据增强的优势，这是长期被忽视的问题。

    Jun, 2019

  • 数据增强再探讨：重新审视干净数据和扩充数据之间的分布差距

    利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。

    Sep, 2019

  • 重新审视BatchNorm中的"批次

    该论文详细回顾了在视觉识别任务中BatchNorm所存在的问题，并且指出解决这些问题的关键是重新思考BatchNorm中“Batch”这个概念中的不同选择，通过提供这些问题及其缓解措施，帮助研究人员更有效地使用BatchNorm。

    May, 2021

  • 训练期间在图像上绘制多个变换样本可有效降低测试误差

    本文通过实验证明，在训练深层ResNets时，每个独特图像的增强样本数量如何影响模型性能，结果表明，绘制多个样本可实现更高的测试准确性，且即使每个图像的增强数目表现相同，使用这种方法也能提高测试准确度。

    May, 2021

  • 深度神经网络的特征层级增强提高仿射变换鲁棒性

    本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

    Feb, 2022

  • 深度学习中的图像数据增强：综述

    本文系统地综述了不同的图像数据增强方法，提出了分类学，分析了这些方法的优点和局限性，以及在三个典型的计算机视觉任务上所做的大量实验，包括语义分割，图像分类和物体检测。最后，我们讨论了数据增强面临的挑战以及未来的研究方向，以提出一些有用的研究指导。

    Apr, 2022

  • 数据扩增：对卷积神经网络效果的深入探讨

    本文旨在评估不同数据集上的数据增强技术对于不同神经网络的性能影响，显示出一种把数据增强技术和深度学习模型架构相结合的方法可提高深度学习任务的性能。

    May, 2022