通过基于循环矩阵理论和 Gram 迭代的方法，提出了一种精确，快速，可微分的卷积层谱范数上界的估算方法，表现出超线性收敛特性，并可用于 Lipschitz 常数的正则化。实验表明，该方法在精度、计算成本和可扩展性等方面优于其他最先进的方法，并与并发方法具有竞争性的结果。

May, 2023

本文提出了一种基于边界的多类神经网络概化界限，其与神经网络谱规范化的 “谱复杂度” 成比例，谱规范化的含义是权重矩阵谱范数的乘积与一定的校正因子。在 mnist 和 cifar10 数据集上，使用 SGD 训练标准的 AlexNet 网络进行了实验研究，同时使用原始标签和随机标签，结果显示：界限、Lipschitz 常数和超限风险都直接相关，这表明 SGD 选择的预测器的复杂度与学习任务的难度成比例。

Jun, 2017

通过对标准 2D 多通道卷积层所关联的线性变换的奇异值的表征，我们能够有效计算它们。此表征还引导我们提出了将卷积层投影到算子范数球上的算法。我们证明了这是一种有效的正则化方法；例如，它将使用 CIFAR-10 数据集和批标准化的深度残差网络的测试误差从 6.2% 提高到 5.3%。

May, 2018

该研究使用格拉姆迭代方法来计算具有上界保证的谱范数，并将其推广到圆形卷积层和零填充卷积层，证明了其二次收敛性。还提供了将圆形卷积和零填充卷积的谱范数联系起来的定理，并设计了一种光谱重缩放方法，用作增强网络鲁棒性的竞争性 1-Lipschitz 层。通过实验证明，我们的方法在精确性、计算成本和可扩展性方面优于最先进的技术。

Jan, 2024

本文提出了一种 ResNet 风格的神经网络架构，编码非扩张（1-Lipschitz）算子，不同于普通的 ResNet 架构，该架构的 Lipschitz 常数不会随着网络深度的增加而呈指数级增长。进一步分析表明，权重的谱范数可以进一步约束，以确保网络是平均算子，使其成为 Plug-and-Play 算法中学习去噪器的自然候选物。通过一种新颖的自适应方法实现了谱范数约束，证明了即使有这些约束，也可以训练出性能良好的网络。提出的架构应用于对抗鲁棒图像分类问题，图像去噪以及反问题退化模糊。

Jun, 2023

本研究通过对输入扰动的敏感性来研究基于深度学习的泛化能力，提出了一种简单而有效的正则化方法 —— 谱范数正则化，试验结果证实其比其他基准方法更具有泛化性能。

May, 2017

利用 PAC-Bayes 分析，我们提出了一种将前馈神经网络的谱范数和权重的 Frobenius 范数乘积作为度量的泛化界限。

Jul, 2017

通过对 2D 多通道卷积层的理论分析，提出了规范化方法 norm decay，它可以有效地降低卷积层和全连接层的范数，并证明了在一定条件下，可以使用神经网络实现对抗性强度分类器，并且在提高通用性方面具有改进效果，但可能对攻击鲁棒性有轻微影响。

Sep, 2020

通过它们各自的高斯过程和神经切向核，研究各种过度参数化的 CNN 架构的属性，并证明了这些核的特征值随着层级特征的组合而多项式地衰减

Mar, 2022

介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。

Mar, 2021