BriefGPT.xyz
May, 2018
卷积层的奇异值
The Singular Values of Convolutional Layers
HTML
PDF
Hanie Sedghi, Vineet Gupta, Philip M. Long
TL;DR
通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征，我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法；例如，它将使用 CIFAR-10 数据集和批标准化的深度残差网络的测试误差从 6.2% 提高到 5.3%。
Abstract
We characterize the
singular values
of the linear transformation associated with a convolution applied to a two-dimensional feature map with multiple channels. Our characterization enables efficient computation of the
s
→