我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络，证明了这种方法在 ReLU 网络中的有效性，并使用此方法训练了 ResNet 和 EfficientNet 模型。
Feb, 2022
本篇论文探讨了深度矩阵分解在矩阵补全和传感中的梯度下降隐式正则化对低秩解的影响，并发现添加深度会增强对低秩解的倾向，结果表明标准正则化的数学符号语言可能不足以完全涵盖梯度下降隐式正则化的机制。
May, 2019
本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。
Apr, 2020
通过扩大神经网络的规模进行特征学习，我们展示了通过标度化权重矩阵和它们的更新的谱范数来实现特征学习，这是与根据 Frobenius 范数和条目大小进行启发式标度化方法相反的，同时我们的谱标度分析还导致了对最大更新参数化的基本推导，总之，我们旨在为读者提供神经网络特征学习的扎实概念理解。
Oct, 2023
本文从动态系统的角度对深度学习中隐藏的正则化进行了理论分析，并研究了等效于一些深度卷积神经网络的分层张量因式分解模型中的隐藏正则化。最终证明了该模型会自动进行低阶张量秩的隐藏正则化，实现与卷积网络相应的局部性隐式正则化。我们基于该理论设计了明确的惩罚局部性的正则化方法，并展示了它在非本地任务上提高现代卷积神经网络性能的能力，这违反了传统智慧认为需要改变结构的观点，凸显出通过理论分析神经网络的隐式正则化来增强其性能的潜力。
Jan, 2022
采用动力学系统视角和贪心低秩张量搜索方法，我们得出了张量秩作为衡量复杂度和深度神经网络隐式正则化的方法，进而解释了深度学习中的隐式正则化和现实世界数据的性质对泛化的影响。
Feb, 2021
研究深度学习在张量因式分解中的隐式正则化效应，通过数值实验证明了这种隐式正则化可促进获得更准确的估计和更好的收敛特性。
Jul, 2022
通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。
Apr, 2023
介绍一种基于 Fiedler regularization 和图谱结构信息的神经网络正则化方法，应用于节点嵌入学习，通过实验验证其有效性和可行性。
该研究探讨如何将矩阵分解为多个稀疏矩阵，提出了一种在随机性和稀疏性假设下的算法，该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值，矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。
Nov, 2013