用于低秩神经网络的非线性初始化方法

Feb, 2022

用于低秩神经网络的非线性初始化方法

Nonlinear Initialization Methods for Low-Rank Neural Networks

Kiran Vodrahalli, Rakesh Shivanna, Maheswaran Sathiamoorthy, Sagar Jain, Ed H. Chi

TL;DR我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络，证明了这种方法在 ReLU 网络中的有效性，并使用此方法训练了 ResNet 和 EfficientNet 模型。

Abstract

We propose a novel low-rank initialization framework for training low-rank deep neural networks -- networks where the weight parameters are re-parameterized by products of two low-rank matrices. The most successf

low-rank initialization deep neural networks spectral initialization relu networks efficientnet models

发现论文，激发创造

通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

Apr, 2020

分解神经层的初始化和正则化

研究深度学习中出现的因子化层，并探讨如何通过谱初始化和 Frobenius 衰减来改善它们的性能，并在模型压缩和知识蒸馏领域进行了实验。

May, 2021

通过近似正交约束的鲁棒低秩训练

介绍了一种在保证模型精度的情况下，同时降低深度学习中推理和训练成本，并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解（low-rank matrix factorizations）容易导致模型鲁棒性的问题，提出了一种基于鲁棒低秩矩阵训练的算法，通过施加近似正交约束，保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时，提高了模型的鲁棒性。

Jun, 2023

学习深度修正线性单元网络的固定参数可解性

使用一种称为过滤式 PCA 的新工具来解决学习具有 ReLu 激活函数的神经网络的问题，该算法可以快速，并且不需要权重具有良好的条件或正系数的假设。

Sep, 2020

利用正交性训练低秩神经网络

该研究通过分析神经网络在训练过程中的权重的奇异值分解 (SVD) 来探究神经网络的学习动力学。我们的调查发现，每个多维权重的 SVD 表示中存在一个正交基，在训练过程中保持稳定。基于此，我们介绍了一种新的训练方法，即利用神经网络的内在正交性的 Orthogonality-Informed Adaptive Low-Rank (OIALR) 训练。OIALR 可以无缝地集成到现有的训练工作流中，且准确度损失最小，通过在各种数据集和经典网络架构上进行基准测试也得以证明。通过适当的超参数调整，OIALR 可以超越传统的训练设置，包括最先进的模型。

Jan, 2024

基于矩阵微分方程的低秩神经网络高效发现：低秩彩票

本文提出了一种利用低秩子网提高神经网络效率的算法，该算法在训练期间已经 determined and adapted the subnetworks，从而大幅减少了训练和评估所需的时间和内存资源，并通过数值实验验证了该算法的高效性。

May, 2022

低多线性秩张量逼近的随机矩阵方法

本文研究了在计算阈值附近的一般尖峰张量模型中，对种植的低秩信号进行估计的全面理解。通过使用大型随机矩阵理论中的标准工具，我们表征了数据张量的展开的大维谱特性，并展示了影响信号主要方向可检测性的相关信噪比。这些结果允许准确预测截断多线性奇异值分解（MLSVD）在非平凡区域中的重构性能。这对于更高阶正交迭代（HOOI）方案具有重要作用，其收敛到最佳低多线性秩近似完全取决于初始化。我们给出了 HOOI 收敛的充分条件，并表明在大维极限中收敛之前的迭代次数趋于 1。

Feb, 2024

只需一个良好的初始化

提出了层顺序单元方差（LSUV）初始化 —— 一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为 1。研究表明，该初始化方法使学习非常深的神经网络成为可能，其表现至少不逊于专门为此设计的复杂方案，并能在 MNIST、CIFAR-10/100 和 ImageNet 等数据集上实现接近最新水平的性能。

Nov, 2015

正弦激活低秩矩阵用于参数高效学习

该研究提出了一个新的理论框架，将正弦函数整合到低秩分解过程中，以提高模型准确性和参数效率。该方法在 Vision Transformers（ViT）、大型语言模型（LLMs）、神经辐射场（NeRF）和 3D 形状建模中应用成功，展示了其广泛潜力和效率。

Mar, 2024

训练不变量和低秩现象：超越线性网络

本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

Jan, 2022