关于深度神经网络中稳定秩的影响

MMOct, 2021

关于深度神经网络中稳定秩的影响

On the Impact of Stable Ranks in Deep Nets

Bogdan Georgiev, Lukas Franken, Mayukh Mukherjee, Georgios Arvanitidis

TL;DR本研究探讨了深度神经网络模型稳定秩的空间，分析了前向动力学、初始化、训练和表达性等方面，并通过实证分析表明，仅稳定秩初始化即可加速收敛速度。

Abstract

A recent line of work has established intriguing connections between the generalization/compression properties of a deep neural network (DNN) model and the so-called layer weights' stable ranks. Intuitively, the latter are indicators of the effective number of parameters in the net. In

deep neural network stable rank feed-forward dynamics training convergence

发现论文，激发创造

神经网络和 GAN 中的稳定排名归一化以提高泛化能力

本篇论文提出一种新的权重规范化方法，即稳定秩规范化（SRN），可用于神经网络分类器和 GAN 中的分类器（SRN-GAN）。在实验中显示，使用 SRN 可以显著提高分类器和 GAN 生成结果的性能，同时减少记忆。

Jun, 2019

训练不变量和低秩现象：超越线性网络

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022

神经排序崩溃：权重衰减和小的内类变异性带来低秩偏差

深度学习中的低秩偏好与神经网络的神经层塌陷现象相关，权重衰减参数的增长导致网络中每一层的秩与前一层隐藏空间嵌入的类内变异成正比减少。

Feb, 2024

深度神经网络中的降维

本文研究神经网络的秩与结构缺陷，通过理论和实验发现了深度神经网络中秩缺陷和分类的独立性缺陷。

Jun, 2022

低秩学习设计：网络架构和激活线性在梯度秩崩溃中的作用

我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理，包括 “神经坍塌” 现象，在训练的后期，DNN 内的线性分类器会收敛到特定的几何结构。然而，几何约束在学习中的作用并不仅限于这个阶段。本文对 DNN 中的梯度秩进行了全面研究，研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解 DNN 中的学习动态，而且为深度学习工程师提供了实践指导，以便做出明智的设计决策。

Feb, 2024

低秩权重对神经网络对抗鲁棒性的影响

研究的问题是通过压缩来探究神经元网络的鲁棒性并揭示其中的关键特性，其中低秩结构通过核范数正则化促进并结合稀疏性使神经网络显示出显著的鲁棒性。

Jan, 2019

深度神经网络中的低秩简约偏差

本文提出深度神经网络可归纳地更倾向于寻找低秩嵌入的解，这种偏见在网络深度和宽度，初始化和训练过程中都存在，并且能够提高 CIFAR 和 ImageNet 数据集的泛化性能。

Mar, 2021

无限宽深度神经网络的稳定行为

研究了全连接前馈深度神经网络中对称中心稳定分布下权重和偏置的独立同分布，证明了相应加权后权重的无穷宽极限是一种随机过程，其有限维分布是多元稳定分布。这一极限过程被称为稳定过程，并且扩展了最近利用高斯无穷宽极限进行的研究线路。

Mar, 2020

神经动态的低张量秩学习

通过大规模神经记录，我们研究了学习过程中权重矩阵形成的 3-Tensor 的秩，并发现推断得到的权重具有较低的张量秩，并且通过数学结果证明了较低的张量秩权重在训练低维任务的 RNN 中自然地产生。

Aug, 2023

大深度网络的隐式偏差：非线性函数的秩观念

研究表明，完全连接的神经网络在非线性齐次时的表示成本收敛于非线性函数的排序上，然后研究了何时可以恢复数据的 “真实” 排名，最后发现自编码器具有最优非线性排名是自然的去噪声的。

Sep, 2022