对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析（PCA）来研究在 CIFAR-10 上训练的 ResNet-18 的逐层学习表示对 k 最近邻分类器（k-NN）、最近类中心分类器（NCC）和支持向量机的性能的影响。我们发现，在某些层次上，仅需 20% 的中间特征空间方差即可实现高精度分类，并且在所有层次上，前 100 个主成分完全决定了 k-NN 和 NCC 分类器的性能。我们将研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。我们的初步工作利用线性仿射模型展示了三个不同但可解释的特征表示的代理模型，其中性能最好的是仿射线性模型。我们还展示了利用几个代理模型来估计 DNN 中可能开始出现神经崩溃的聪明方法。

Sep, 2023

该研究探讨了训练深度神经网络及其与网络参数之间的复杂动力学关系。通过研究我们发现，训练网络往往沿着单一方向进行训练，被称为漂移模式。通过损失函数的二次势模型，我们解释了这种漂移模式，并提出其向潜在值的指数级缓慢衰减。我们揭示了 Hessian 特征向量与网络权重之间的相关性，该关系取决于特征值的大小，使我们能够识别网络内的参数方向。此外，通过奇异值分解，我们对权重矩阵进行了分解，以实用的方式识别 Hessian 内的关键方向，同时考虑其大小和曲率。此外，我们还发现了各层最大的 Hessian 特征值与整个网络之间的相似性，特别是更大的特征值更集中在深层。最后，基于我们的发现，我们探索了解决神经网络在学习新任务时遗忘之前任务知识的挑战，通过应用我们的发现，我们提出了一种有效的策略来缓解这种遗忘，这个策略可以适用于不同规模的网络，包括更大的架构。

Nov, 2023

通过使用各种迁移学习模型来预测氢 / 空气混合物的均相点火过程数据驱动的降阶模型的化学源项等目标，本研究评估了是否可以减少所需的训练样本数量。

Dec, 2023

研究 PCA 在高维，低样本大小的情况下的渐近行为，发现在一些充分的条件下，估计的 PC 方向是一致的，其他的方向强不一致，而这些条件在主定理中指定。

Nov, 2009

通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

Aug, 2023

本文介绍了一种名为主成分追踪的凸型优化方法，能在有噪声或缺损情况下准确分离一个 $ m * n $ 数据矩阵的低秩和稀疏成分，该方法有望应用于视频监控和人脸识别等领域。

Dec, 2009

本文介绍了一种基于局部学习规则的生物学本质上可行的反馈神经网络，该网络利用多维缩放代价函数学习流数据的主要子空间，从而实现神经计算的算法化理论。

Mar, 2015

在统计分布设置中，研究了 PCA 的基本问题，介绍了一种在计算效率和估计误差方面都优于局部 ERM 解决方案的算法，通过进行简单的校正步骤来消除误差并提供一种估计器，还介绍了一种使用分布式矩阵向量乘法的迭代分布式算法，提供在广泛的参数范围内通信轮次的显着加速。

Feb, 2017

本文提出一种在主成分分析中内在于目标函数中的公正准则的分布式稳健优化问题，通过采用超越最小二乘意义的子群重构误差之间的重构误差差异，平衡了总体重建误差和子群之间的重建误差差异，以及实验证明该方法较其他现有方法有明显优势。

Feb, 2022

本文提出了一种针对数据集不是点而是分布的主成分分析方法，可以从方差最大化原则和重构误差最小化的角度获得闭合解。

Jun, 2023