利用主成分分析探索神经网络的学习表示

Sep, 2023

利用主成分分析探索神经网络的学习表示

Exploring Learned Representations of Neural Networks with Principal Component Analysis

Amit Harlev, Andrew Engel, Panos Stinis, Tony Chiang

TL;DR对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析（PCA）来研究在 CIFAR-10 上训练的 ResNet-18 的逐层学习表示对 k 最近邻分类器（k-NN）、最近类中心分类器（NCC）和支持向量机的性能的影响。我们发现，在某些层次上，仅需 20% 的中间特征空间方差即可实现高精度分类，并且在所有层次上，前 100 个主成分完全决定了 k-NN 和 NCC 分类器的性能。我们将研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。我们的初步工作利用线性仿射模型展示了三个不同但可解释的特征表示的代理模型，其中性能最好的是仿射线性模型。我们还展示了利用几个代理模型来估计 DNN 中可能开始出现神经崩溃的聪明方法。

Abstract

Understanding feature representation for deep neural networks (DNNs) remains an open question within the general field of explainable AI. We use principal component analysis (PCA) to study the performance of a k-

deep neural networks principal component analysis feature representation k-nearest neighbors classifier neural collapse

发现论文，激发创造

使用规范相关方法揭示神经网络中的表示相似性见解

作者们通过投影加权规范相关分析法（projection weighted CCA）研究神经网络的表征学习。研究发现，广泛的神经网络更容易获得相似的表征，与学习速率相关的神经网络收敛到具有不同表征的不同聚类中，RNN 随着时间的推移呈自底向上的模式聚合，而其隐藏状态在序列的不同时间间隔内变化较大。

Jun, 2018

使用 PCA 的低投入结构化 CNN 设计方法

该研究论文提出了一种基于 PCA 的单次分析方式，可在不进行迭代重新训练的情况下，优化计算机视觉中的深度学习模型，包括 AlexNet，VGG 和 MobileNet，减少计算操作次数和参数数量。

Dec, 2018

用于图像分类的核主成分分析网络

介绍一种名为 KPCANet 的深度学习网络，可以通过核主成分分析将非线性特征分类为线性，提高分类准确性，在人脸识别、物体识别和手写数字识别等任务中表现良好，优于主成分分析网络 PCANet，同时具有光照不变性和抗干扰性。

Dec, 2015

基于 PCA 的卷积网络

本文提出了一种新颖的无监督深度学习模型，叫做基于 PCA 的卷积神经网络（PCN）。PCN 的结构由多个特征提取阶段和一个非线性输出阶段组成，其中卷积层的滤波器是通过 PCA 算法学习得到的，而在非线性输出阶段，采用二进制哈希。实验结果表明，PCN 在手写数字识别、人脸识别和纹理分类等挑战性任务中表现优秀，而且由于没有监督微调的反向传播，因此比现有的深度网络更高效。

May, 2015

通过主成分分析实现神经网络特征化和熵调节的数据平衡

本文研究了神经网络行为与数据记录在训练数据的低阶主成分所构成的分布之间的关系，通过评估每个直方图箱子相关的熵来实现简单的数据平衡程序。

Dec, 2023

使用主成分分析和特征重要性解释功能数据神经网络预测

本文提出了一种基于功能数据的解释机器学习模型的程序，使用功能主成分分析（fPCA）和置换特征重要性（PFI），并通过解释爆炸光谱 - 时间特征签名的神经网络来演示这种技术。

Oct, 2020

通过可扩展的邻域分量分析改善泛化能力

采用深度神经网络来学习视觉特征，通过非参数优化方法而非参数 etric 分类器进行可视化识别，并在针对少数代表性例子的分类和子类别发现方面提供了更具有普遍适用性的特征表示。

Aug, 2018

神经崩溃与差分隐私：NoisyGD 实现近乎完美的表示学习的奇异行为

通过在公共数据集上进行预训练的大规模表示学习显著增强下游任务中的差分隐私学习，神经坍塌现象的理论解释，研究不同预训练模型下的特征质量及差分隐私微调的鲁棒性问题，以及采用特征归一化和维度降低方法改善差分隐私微调的策略。

May, 2024

神经网络表示的相似性再探讨

本文介绍了基于规范相关分析（CCA）方法的神经网络表示比较方法，并提出了一种相似度指数来测量表示相似性矩阵之间的关系，该指数与中心核对齐（CKA）密切相关，但不受高维表示限制，具有可靠性。与 CCA 不同，CKA 方法可在不同初始化的网络表示中可靠地识别对应关系。

May, 2019

交替方向神经网络实现深度成分分析

本文介绍了一种表达能力强且带有层次结构约束的 Deep Component Analysis 模型，并提出了基于递归交替方向神经网络（ADNNs）的可微优化算法实现。通过将前馈神经网络解释为模型中推理的单次迭代近似，不仅提供了一种新的理论视角，还提供了一种利用先验知识约束预测的实用技术。在实验中，我们证明了该模型在许多任务上的性能改进，包括单图像深度预测与稀疏输出约束。

Mar, 2018