卷积层的谱范数与循环和零填充
通过基于循环矩阵理论和 Gram 迭代的方法，提出了一种精确，快速，可微分的卷积层谱范数上界的估算方法，表现出超线性收敛特性，并可用于 Lipschitz 常数的正则化。实验表明，该方法在精度、计算成本和可扩展性等方面优于其他最先进的方法，并与并发方法具有竞争性的结果。
May, 2023
本论文提出通过四个可导且计算速度高的界来计算二维卷积层的谱范数并将四个界的最小值作为卷积层谱范数的紧致可导下界，在 MNIST 和 CIFAR-10 上实验并证明其有效提高了深度网络的泛化性和鲁棒性。
Nov, 2019
本文研究了一种内积核随机矩阵模型，证明其经验谱分布在大 $n$ 和 $p$ 极限下收敛于一定的测度。通过将其与一个具有相同极限谱的 GUE 矩阵的轨迹矩进行比较，研究了奇数内核函数的情况，该矩阵的谱范数几乎必定收敛于极限谱的边缘。本研究的动机是分析一种利用协方差阈值处理来统计检测和估计稀疏主成分的方法，并且本文的结果表征了样本协方差矩阵在零设置下的最大特征值极限。
Jul, 2015
本文提出了一种基于边界的多类神经网络概化界限，其与神经网络谱规范化的 “谱复杂度” 成比例，谱规范化的含义是权重矩阵谱范数的乘积与一定的校正因子。在 mnist 和 cifar10 数据集上，使用 SGD 训练标准的 AlexNet 网络进行了实验研究，同时使用原始标签和随机标签，结果显示：界限、Lipschitz 常数和超限风险都直接相关，这表明 SGD 选择的预测器的复杂度与学习任务的难度成比例。
Jun, 2017
介绍了一种基于卷积结构的归一化方法 (Convolutional Normalization)，它可以方便地作为模块嵌入到任何卷积神经网络 (ConvNets) 中，通过提高权重的正交性和每层的通道等距性，减小权重矩阵的层范数，提高网络的 Lipschitzness 并且提高 GAN 性能和普适性。
Mar, 2021
我们展示了自动微分在高效正确地计算和控制隐式线性运算符的频谱上的有效性，包括所有标准卷积和稠密层的一系列丰富类型。我们提供了第一种正确应用于一般卷积层的剪切方法，并阐明了之前研究中导致正确性问题的表征限制。我们研究了批归一化层与卷积层串联时的效果，并展示了如何将我们的剪切方法应用于它们的组合。通过使用各种实验证明了我们的算法相比最先进的方法具有更高的精度和效率，并且能够实现更好的泛化性能和对抗鲁棒性。我们提供了使用我们方法的代码，网址为 https:// 该网址。
Feb, 2024
本文提出了一种 ResNet 风格的神经网络架构，编码非扩张（1-Lipschitz）算子，不同于普通的 ResNet 架构，该架构的 Lipschitz 常数不会随着网络深度的增加而呈指数级增长。进一步分析表明，权重的谱范数可以进一步约束，以确保网络是平均算子，使其成为 Plug-and-Play 算法中学习去噪器的自然候选物。通过一种新颖的自适应方法实现了谱范数约束，证明了即使有这些约束，也可以训练出性能良好的网络。提出的架构应用于对抗鲁棒图像分类问题，图像去噪以及反问题退化模糊。
Jun, 2023
本研究旨在通过使用谱规范化方法，为深度神经网络在对抗性环境下的训练提供一种有效的正则化策略，以解决其在输入微小的对抗性扰动下缺乏鲁棒性的问题。同时，我们将边界损失延伸到对抗性环境，并限制了多个梯度攻击方案下深度神经网络的泛化误差。
Nov, 2018
基于 Laplacian 算子，谱图卷积神经网络是一种用于图数据的卷积网络，并已被证明可以稳定地在不同大小和连接性的图之间传输谱滤波器，在图回归、图分类和节点分类等任务中表现出良好的性能。
Dec, 2020