通过对正交性进行收敛性分析，揭示了正交性对训练深度神经网络的收敛速度的影响，并通过实验证实了理论分析的有效性。

Nov, 2023

本文提出了两种初始化方案，允许网络自然演化其权重形成正交矩阵，并提供理论分析，预先训练正交化始终收敛，并通过实验证实，所提出的方案优于随机初始化的递归和前向网络。

Oct, 2022

完全连接的深度神经网络，其权重从独立的高斯分布初始化，可以调整到临界状态，阻止信号在网络中传播时呈指数增长或衰减。然而，这种网络仍然会表现出与网络深度线性增长的波动，这可能会削弱与深度相当的宽度网络的训练。我们在理论上证明了矩形网络与双曲正切激活函数以及从正交矩阵集合初始化权重，其相应的预激活波动与深度无关，以逆宽度为导数阶主导。此外，我们通过数值实验表明，初始化时在逆宽度方向上控制可观测量的演变的神经切向核（NTK）及其后代涉及的相关者的饱和深度约为 20，而不像高斯初始化的情况下无限增长。我们推测这种结构保留了有限宽度特征学习的同时，降低了整体噪声，从而改善了泛化能力和训练速度。通过将 NTK 的经验测量与深度非线性正交网络在 MNIST 和 CIFAR-10 分类任务上的卓越性能联系起来，我们提供了一些实验上的证明。

Oct, 2023

该研究聚焦于探索深度学习中的隐含偏差现象，具体研究了权重初始化对优化和泛化问题的影响，通过调查使用深度网络解决欠定线性系统问题时初始化的隐式正则化的作用，有助于更全面地理解深度学习的性能特点。

Feb, 2024

证明全连接线性神经网络每个隐藏层的宽度大于 $\tilde\Omega (L \cdot r \cdot d_{\mathrm {out}} \cdot \kappa^3)$ 时， 高斯随机初始化的梯度下降算法会以线性速率收敛到全局最小值，但窄层深度线性神经网络需要 $\exp\left (\Omega\left (L\right)\right)$ 操作时间，这表明宽层对于优化深度模型是必要的。

Jan, 2019

本文研究表明，在神经网络中使用 ReLU 激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

本文提出了一种基于 Lie 群理论的指数映射参数化方法，将带有正交和酉约束的优化问题转化为欧几里德空间上的无约束问题，并在 RNN 中得到了应用，改进了正交约束优化问题的稳定性和收敛速度。

Jan, 2019

本文研究在白化数据上，通过梯度下降来训练深度线性神经网络收敛到全局最优点的速度。当隐藏层数的维度不小于输入输出维度的最小值，并且初始化的权重矩阵大致平衡且初始损失小于任何秩缺失解时，可保证线性收敛。此外，在输出维度为 1 的情况下，即标量回归，这些条件是满足的，并且在随机初始化方案下具有恒定的概率达到全局最优解。

Oct, 2018

该研究提出了一种新的正交超参数训练 (OPT) 框架，该框架可以证明地最小化描述神经元多样性的超球面能量，通过保持最小超球面能量来提高神经网络的泛化能力。

Apr, 2020

本文提出了一种使用牛顿迭代法的正交化方法 (ONI)，它可以通过进行迭代来控制权重矩阵的正交性，同时保持模型的表征能力，从而有效地提高图像分类网络和生成对抗网络 (GANs) 的性能。

Apr, 2020