对深度神经网络的特征表示进行理解仍然是可解释人工智能领域中一个开放问题。本研究使用主成分分析（PCA）来研究在 CIFAR-10 上训练的 ResNet-18 的逐层学习表示对 k 最近邻分类器（k-NN）、最近类中心分类器（NCC）和支持向量机的性能的影响。我们发现，在某些层次上，仅需 20% 的中间特征空间方差即可实现高精度分类，并且在所有层次上，前 100 个主成分完全决定了 k-NN 和 NCC 分类器的性能。我们将研究结果与神经崩溃现象联系起来，并提供了中间神经崩溃相关现象的部分证据。我们的初步工作利用线性仿射模型展示了三个不同但可解释的特征表示的代理模型，其中性能最好的是仿射线性模型。我们还展示了利用几个代理模型来估计 DNN 中可能开始出现神经崩溃的聪明方法。

Sep, 2023

本文提出了一种基于 Delaunay 图的 Delaunay Component Analysis (DCA) 评估算法，它可靠地估计了数据流形，即使对于表示具有具有变化形状和密度的簇以及离群值的情况，这是现有方法常常失败的地方，同时还引入了用于评估个体新数据表示质量的框架，并在不同的单点评估框架中使用神经网络训练的表示进行了实验验证。

Feb, 2022

引入聚合上下文分解的方法来解释 DNN 预测结果。该方法通过产生输入特征的层次聚类以及每个聚类对于最终预测的贡献，实现了对 DNN 的预测结果进行解释，有效诊断不正确的预测和识别数据集的偏倚。同时人体实验也表明，ACD 能够使用户较好地识别两个 DNN 中更准确的那一个，并更加信任 DNN 的输出。

Jun, 2018

采用深度神经网络来学习视觉特征，通过非参数优化方法而非参数 etric 分类器进行可视化识别，并在针对少数代表性例子的分类和子类别发现方面提供了更具有普遍适用性的特征表示。

Aug, 2018

本文运用复杂网络理论将 DNN 表示为一个有向带权图，并介绍了一些度量方法，可以研究 DNN 作为动力学系统的性能，并发现度量方法可以区分低性能和高性能网络。

Sep, 2022

本文提出了一种离散数据分析的统一理论，并将该理论与独立分量分析、非负矩阵分解和潜在狄利克雷分配等技术进行了比较。讨论的主要算法包括变分近似、吉布斯抽样和 Rao-Blackwellised Gibbs 抽样。文章介绍了在美国参议院 2003 年的投票记录和路透社 - 21578 新闻线路集的应用。

Apr, 2006

利用数据深度作为评分的一种新的统计工具，名为异常分量分析 (ACA)，用于探索性分析异常观测。ACA 不仅可以更好地区分异常群组，而且还能为异常提供可解释性的线性低维数据表示。在比较模拟和真实数据研究中，ACA 相对于现有文献中的方法在异常分析方面也表现出优势。

Dec, 2023

利用聚合函数表达的子函数描述构成的有向无环图，深度网络比浅层网络更好地逼近这些函数，因为深度网络可以被设计成具有相同的组合结构，而浅层网络无法利用这一知识，组合性的祝福缓解了维数灾难，而称为良好误差传播的定理允许通过选择适当的范数、平滑度等将有关浅层网络的定理推广到有关深层网络的定理。我们在三个环境中说明了这一点，其中每个通道在深层网络中计算球面多项式、非平滑 ReLU 网络或与 ReLU 网络密切相关的另一种区域函数网络。

May, 2019

使用深度学习方法改进传统的基于树的表格数据预测方法，并通过集成深度学习架构和邻域抽样策略，显著提高现代邻域组件分析的性能，超过了现代深度表格模型，在分类和回归任务中取得最先进的结果，同时减少训练时间和模型大小。

Jul, 2024

本文介绍了可解释人工智能（XAI）中的概念分析（CA）方法及其在深度神经网络内的应用，提供了一般性的 CA 定义和分类，总结了 30 多种相关方法和 15 个数据集，同时指出了未来研究方向和挑战。

Mar, 2022