神经网络和 GAN 中的稳定排名归一化以提高泛化能力

Jun, 2019

神经网络和 GAN 中的稳定排名归一化以提高泛化能力

Stable Rank Normalization for Improved Generalization in Neural Networks and GANs

Amartya Sanyal, Philip H.S. Torr, Puneet K. Dokania

TL;DR本篇论文提出一种新的权重规范化方法，即稳定秩规范化（SRN），可用于神经网络分类器和 GAN 中的分类器（SRN-GAN）。在实验中显示，使用 SRN 可以显著提高分类器和 GAN 生成结果的性能，同时减少记忆。

Abstract

Exciting new work on the generalization bounds for neural networks (NN) given by Neyshabur et al. , Bartlett et al. closely depend on two parameter-depenedent quantities: the →

neural networks generalization bounds stable rank normalization lipschitz constant memorization reduction

发现论文，激发创造

关于深度神经网络中稳定秩的影响

本研究探讨了深度神经网络模型稳定秩的空间，分析了前向动力学、初始化、训练和表达性等方面，并通过实证分析表明，仅稳定秩初始化即可加速收敛速度。

Oct, 2021

关于学习排序中损失函数的 Lipschitz 连续性和光滑性

本研究探讨了在学习排序问题中，利普希茨连续性和平滑性如何影响泛化误差，并使用∞-norm 改进了现有界限。此外，选择好的范数使得在平滑性假设下，我们证明了介于 1 / 根号 n 和 1/n 之间的比率。

May, 2014

用于比较解释模型的概率 Lipschitzness 和稳定秩

该研究论文探讨了可解释性模型中概率 Lipschitz 性以及稳定秩与神经网络的关联，并提出了一种新的指标，正则灵巧度，用于比较可解释性模型的稳健性。研究还揭示了稳定秩与可解释性模型的稳健性之间的关联。

Feb, 2024

生成对抗网络的梯度归一化

本文提出了一种新的归一化方法 —— 梯度归一化（GN），通过在鉴别器函数上施加硬 1-Lipschitz 约束，从而增加鉴别能力，解决了生成对抗网络中尖锐梯度空间引起的训练不稳定性问题，并在四个数据集上进行了广泛实验，证明了使用梯度归一化训练的 GAN 模型在 Frechet Inception Distance 和 Inception Score 方面优于现有方法。

Sep, 2021

神经网络的谱归一化边界

本文提出了一种基于边界的多类神经网络概化界限，其与神经网络谱规范化的 “谱复杂度” 成比例，谱规范化的含义是权重矩阵谱范数的乘积与一定的校正因子。在 mnist 和 cifar10 数据集上，使用 SGD 训练标准的 AlexNet 网络进行了实验研究，同时使用原始标签和随机标签，结果显示：界限、Lipschitz 常数和超限风险都直接相关，这表明 SGD 选择的预测器的复杂度与学习任务的难度成比例。

Jun, 2017

Lipschitz 函数逼近的排序处理

通过保证每个单独的仿射转换或者非线性激活函数为 1-Lipschitz 可实现神经网络模型的可证对抗鲁棒性、泛化上界、可解释梯度和 Wasserstein 距离的估算。本文提出了基于保持反向传播梯度范数的架构条件以及结合保持梯度范数的激活函数（GroupSort）和约束权重矩阵的方法，证明了约束权重矩阵的 GroupSort 网络是普遍的 Lipschitz 函数逼近器并实现了比其 ReLU 对应部分更紧的的 Wasserstein 距离估算。

Nov, 2018

训练不变量和低秩现象：超越线性网络

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

通过 SparsestMax 学习稀疏可切换归一化的 SSN

本研究提出了一种稀疏切换归一化（SSN）方法，通过 SparsestMax 算法将学习的重要性约束为稀疏条件，保证每个规范化层只选择一个归一化器，从而提高了深度学习的性能，并在 ImageNet，Cityscapes，ADE20K 和 Kinetics 等数据集上得到了验证。

Mar, 2019

用于公平性的 GNN 的 Lipschitz 稳定性表征

通过研究 GNN Lipschitz 界限对非欧几里德数据的作用，调查 GNN 模型输出稳定性，并通过对公平训练中学习到的偏见进行实验验证 Lipschitz 边界的有效性，最终展示理论 Lipschitz 边界在 GNN 训练中如何有效平衡准确性和公平性。

Sep, 2023

通过迭代重新加权核范数来进行非凸非光滑低秩最小化

本文提出了一种使用一组非凸假设函数对矩阵奇异值进行 $L_0$- 范数逼近的非凸非光滑极小值问题，并采用 Iteratively Reweighted Nuclear Norm (IRNN) 算法进行求解。本文在合成和真实图像数据上进行了广泛的实验，证明了 IRNN 相比最先进的凸算法增强了低秩矩阵恢复的效果。

Oct, 2015