数据增广是否受益于分段批归一化

Oct, 2020

数据增广是否受益于分段批归一化

Does Data Augmentation Benefit from Split BatchNorms

Amil Merchant, Barret Zoph, Ekin Dogus Cubuk

TL;DR本文旨在研究如何纠正使用数据增强技术训练深度神经网络时所导致的图像偏差问题，作者提出了一种辅助 BatchNorm 方法，实验结果表明，使用弱增强训练的 BatchNorm 参数可以明显提高 CIFAR-10、CIFAR-100 和 ImageNet 等常见图像分类基准测试的模型性能，同时，研究还揭示了使用不同 BatchNorm 参数所带来的精度和鲁棒性之间的基本权衡关系。

Abstract

data augmentation has emerged as a powerful technique for improving the performance of deep neural networks and led to state-of-the-art results in computer vision. However, state-of-the-art →

data augmentation deep neural networks batchnorm image classification model performance

发现论文，激发创造

增加你的批量：更大批量训练有更好效果

本文提出一种基于批增广的优化算法，可以应用于深度学习的大批量 SGD 训练中，减少了必要的 SGD 更新数量，提高了训练速度和泛化能力。

Jan, 2019

自然鲁棒性动态批归一化统计更新

采用傅里叶域检测损坏类型和更新 BatchNorm 统计信息的统一框架，可提高任何现成模型的损坏准确性，并进一步改善先进的稳健模型的准确性。

Oct, 2023

NormAUG：基于归一化指导的领域泛化增强

通过数据增强和集成策略，提出一种名为 NormAUG 的简单而有效的方法来解决深度学习中由于领域转移而导致的性能下降问题，并在多个基准数据集上进行了广泛实验来验证其有效性。

Jul, 2023

卷积神经网络上数据增强的进一步优势

本文研究数据增强在卷积神经网络中的隐式规则效应，与显式正则化技术（如权重衰减和 Dropout）相比，数据增强能更易于适应不同的网络结构和训练数据。通过对不同网络架构和训练数据量的消融研究，我们揭示了数据增强的优势，这是长期被忽视的问题。

Jun, 2019

重新审视批归一化以提高抗扰动性

本研究中，我们将深度神经网络中的几项统计学指标变换为适应不同数据集，并通过少量表示样本的统计估计实现批量归一化统计量的调整与适应，从而在多种基准数据集上得到了更好的数据集迁移性和鲁棒性表现。

Oct, 2020

走向一个对抗鲁棒性标准化方法

本研究证明 BatchNorm 在对抗攻击下表现脆弱的原因和提出了新的对抗攻击下稳健的正则化方法 RobustNorm。实验证明使用 RobustNorm 的深度神经网络在对抗环境下表现更好。

Jun, 2020

贝叶斯数据增强方法用于深度模型学习

提出了一种基于贝叶斯公式，利用广义蒙特卡洛期望最大化算法和生成对抗网络的方法，能更好地生成新的标注训练样本，并在 MNIST，CIFAR-10 和 CIFAR-100 的数据集中取得了优于现有数据增强方法和 GAN 模型的分类结果。

Oct, 2017

一种具有有效蒸馏动态软标签正则化器的随机批次增强

本文提出了一种叫作 Stochastic Batch Augmentation (SBA) 的框架，它通过在训练过程中动态地加入与原始样本相似的数据分布信息，并通过 KL-Divergence 对原始数据和虚拟数据的输出 soft-max 分布进行直接监督，从而提高神经网络的泛化性能并提高其训练速度。

Jun, 2020

数据增强再探讨：重新审视干净数据和扩充数据之间的分布差距

利用数据增强作为正则化方式，我们从解析角度重新考虑了数据增强在深度神经网络中的泛化问题，并发现它显著降低了模型泛化误差，但同时也导致略微增加了经验风险。使用较少的数据对完整增强的数据进行训练能够帮助模型更好地收敛于更好的区域，从而进一步提高准确性。

Sep, 2019

数据扩增：对卷积神经网络效果的深入探讨

本文旨在评估不同数据集上的数据增强技术对于不同神经网络的性能影响，显示出一种把数据增强技术和深度学习模型架构相结合的方法可提高深度学习任务的性能。

May, 2022