ICCVAug, 2021
深度卷积网络中混淆对泛化的影响
Impact of Aliasing on Generalization in Deep Convolutional Networks
Cristina Vasconcelos, Hugo Larochelle, Vincent Dumoulin, Rob Romijnders, Nicolas Le Roux...
TL;DR本文研究了深度卷积网络中混叠对泛化性能的影响，并表明数据增强方案由于所使用的结构存在结构性限制而无法防止其影响。通过从频率分析理论中获得了启发，我们对 ResNet 和 EfficientNet 架构进行了更深入的研究，评估了它们各自主要组成部分中混叠和信息丢失之间的权衡。我们展示了如何通过在关键位置插入非可训练低通滤波器来减轻混叠，特别是在网络缺乏学习它们的能力的地方。这些简单的架构改变在 i.i.d. 和分布之外条件下显着提高了泛化性能，例如在 ImageNet-C [11] 上的自然破坏的图像分类和 Meta-Dataset [26] 上的小样本学习。在不引入额外的可训练参数和使用开源代码库的默认超参数的情况下，两个数据集都取得了最先进的结果。