卷积层光谱范数的紧致高效上界
本研究旨在通过应用离散傅立叶变换和频谱表示提供有效的计算卷积方法，并且展示频谱域应用于卷积神经网络设计的创新，如频谱池化、随机修改分辨率的新形式随机正则化、卷积过滤器的复系数频谱参数化等。在不使用任何dropout或max-pooling的情况下，这些方法在分类和逼近任务中取得了有竞争力的结果，并且观察到这些方法可以显著加快训练的收敛速度。
Jun, 2015
本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法——谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。
May, 2017
本研究考虑具有多个内核的不重叠卷积神经网络的参数恢复，当输入服从高斯分布且样本量足够大时，对于大多数流行的激活函数，如ReLU，Leaky ReLU，Squared ReLU，Sigmoid和Tanh，我们展示了该CNN的平方损失在全局最优附近的吸引盆中是局部强凸的，所需样本复杂度与输入维度成比例且多项式内核数量和参数的条件数，同时我们还展示了张量方法能够将参数初始化为局部强凸的区域，因此，对于大多数光滑的激活函数，张量初始化后的梯度下降保证在输入维度、精度对数和其他因素上是多项式数量级的时间内收敛到全局最优解。据我们所知，这是第一份提供具有多个内核的CNN的恢复保证的工作，其样本复杂度和计算复杂度都是多项式的。
Nov, 2017
本论文提出通过四个可导且计算速度高的界来计算二维卷积层的谱范数并将四个界的最小值作为卷积层谱范数的紧致可导下界，在MNIST和CIFAR-10上实验并证明其有效提高了深度网络的泛化性和鲁棒性。
Nov, 2019
本研究通过核方法的角度对卷积核网络进行了研究，发现其RKHS由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。
Feb, 2021
介绍了一种基于卷积结构的归一化方法(Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络(ConvNets)中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的Lipschitzness并且提高GAN性能和普适性。
Mar, 2021
通过基于循环矩阵理论和Gram迭代的方法，提出了一种精确，快速，可微分的卷积层谱范数上界的估算方法，表现出超线性收敛特性，并可用于Lipschitz常数的正则化。实验表明，该方法在精度、计算成本和可扩展性等方面优于其他最先进的方法，并与并发方法具有竞争性的结果。
May, 2023
提出了一种用于改善卷积神经网络中的正交性的新方法，解决了传统正交性方法中对于模型容量提升的难题。通过我们的正交性偏差度量和我们的正交性放松理论，我们的工具包实现了最先进的性能和更加鲁棒的模型特征。
Jun, 2023
该研究使用格拉姆迭代方法来计算具有上界保证的谱范数，并将其推广到圆形卷积层和零填充卷积层，证明了其二次收敛性。还提供了将圆形卷积和零填充卷积的谱范数联系起来的定理，并设计了一种光谱重缩放方法，用作增强网络鲁棒性的竞争性1-Lipschitz层。通过实验证明，我们的方法在精确性、计算成本和可扩展性方面优于最先进的技术。
Jan, 2024