通过随机梯度下降（SGD）和经验 Hessian 和梯度矩阵的谱的联合演化，我们严格地研究了训练动态的联合演化。我们证明，在多类高维混合和单层或两层神经网络的两个典型分类任务中，SGD 轨迹迅速与 Hessian 和梯度矩阵的新出现的低秩异常特征空间对齐。此外，在多层设置中，这种对齐是逐层进行的，最后一层的异常特征空间在训练过程中发生变化，并在 SGD 收敛到次优分类器时呈现秩亏。这些结果证实了过去十年中关于过参数化网络在训练过程中 Hessian 和信息矩阵的谱的广泛数值研究中出现的一些丰富预测。

Oct, 2023

该研究探讨了训练深度神经网络及其与网络参数之间的复杂动力学关系。通过研究我们发现，训练网络往往沿着单一方向进行训练，被称为漂移模式。通过损失函数的二次势模型，我们解释了这种漂移模式，并提出其向潜在值的指数级缓慢衰减。我们揭示了 Hessian 特征向量与网络权重之间的相关性，该关系取决于特征值的大小，使我们能够识别网络内的参数方向。此外，通过奇异值分解，我们对权重矩阵进行了分解，以实用的方式识别 Hessian 内的关键方向，同时考虑其大小和曲率。此外，我们还发现了各层最大的 Hessian 特征值与整个网络之间的相似性，特别是更大的特征值更集中在深层。最后，基于我们的发现，我们探索了解决神经网络在学习新任务时遗忘之前任务知识的挑战，通过应用我们的发现，我们提出了一种有效的策略来缓解这种遗忘，这个策略可以适用于不同规模的网络，包括更大的架构。

Nov, 2023

本文提出了一种新的多类别线性判别分析 GO-LDA 方法，通过构造每个步骤中最大化 Fisher 准则的正交鉴别方向可以分离投影数据。该方法在多种模式识别和分类问题上都能提高准确性。

May, 2023

利用正半定岭估计器及非线性协方差矩阵估计器，本文提出了一种新颖的 NL-RLDA 分类器，并通过综合性能评估表明其在合成数据和真实数据上的有效性。与现有方法相比，该技术在多个数据集上均表现优异。

Jan, 2024

本文提出了 Deep Linear Discriminant Analysis（DeepLDA）方法，通过在深度神经网络中，学习可分离的线性潜在表示以进行分类的降维。作者的目标是最大化特征分布的相似度以推广传统的 LDA 算法，通过三个基准数据集的评估，DeepLDA 在 MNIST 和 CIFAR-10 上得到了竞争性的结果，在 STL-10 上也优于使用分类交叉熵进行训练的网络。

Nov, 2015

研究优化过程中深度神经网络中 Hessian 谱的演化对动力学的影响，发现对于非批归一化网络，谱中的大量孤立特征值以及聚集在相应特征空间中的梯度的快速出现将影响优化速度，而批归一化网络中这两种效应几乎不存在。

Jan, 2019

高维重叠高斯混合模型 (GMM) 数据的二元分类的贝叶斯最优决策边界的闭合表达式会根据类协方差的特征结构而变化。通过对由真实数据启发的合成 GMM 数据进行的实验，我们从经验上证明了深度神经网络在分类训练中学习预测器可以近似得到最优分类器。我们进一步拓展了对真实数据训练的网络的研究，观察到决策阈值与协方差的特征向量相关而不是特征值，从而反映了我们 GMM 分析的结果。这为神经网络从错综复杂的分布中执行概率推断和提取统计模式的能力提供了理论洞见。

May, 2024

本文提出了一种基于协方差矩阵的图形表示方法，并定义了相似度测量方法，可用于社交网络的分类，同时该方法的计算效率高，可用于大规模实践，并对截断幂次迭代的研究提供了理论和实证支持。

Apr, 2014

通过深度典型相关分析 (DCCA) 找出可以最真实地从一种数据视角推导出的特征，进而构建出一非参数隐含联合概率分布的经典版本，以求解贝叶斯估算和标准偏差，并测试其在 OCCLUD MNIST 图像推理和监督学习中的可行性和效率，同时探索了发现单个数据集中显著的独立变量的可能性。

Apr, 2019

通过研究每层的 Hessian eigenspectrum，提出了一种基于 Hessian trace 的新的正则化方法，可以间接地迫使 Stochastic Gradient Descent 收敛到更平的最小值，从而提高了深学习模型的泛化性能。

Dec, 2020