通过 Betti 数我们研究了在经过深度神经网络的各个层时，特征嵌入空间的拓扑结构如何变化。我们使用了拓扑同调理论中的方格同调进行了扩展分析，使用了各种流行的深度架构和真实图像数据集。我们证明随着深度的增加，一个拓扑上复杂的数据集会被转换成一个简单的数据集，Betti 数会取得最低可能的值。拓扑复杂度的衰减速率可以量化架构选择对泛化能力的影响。此外，我们从表示学习的角度强调了几种不变性，例如 (1) 相似数据集上的体系结构、(2) 深度可变的嵌入空间、(3) 嵌入空间与输入分辨率 / 大小以及 (4) 数据子采样。为了进一步证明网络的表达能力与泛化能力之间的联系，我们考虑了下游分类任务 (迁移学习) 中预训练模型的排序任务。与现有方法相比，所提出的度量方法与通过微调预训练模型实际可达到的准确性具有更好的相关性。
Nov, 2023
本文提出了一种基于拓扑数据分析的神经网络架构复杂性度量 —— 神经持久性，用于表征和监控结构特性，并通过此方法展示了 dropout 和 batch normalization 等深度学习社区开发的最佳实践。此外，还提出了一种基于神经持久性停止准则，可在缩短训练过程同时实现与基于验证损失的早停相当的准确性。
Dec, 2018
本文提出了一种基于拓扑结构优化神经网络连接性的方法，通过为边分配可学习参数并施加稀疏约束，更聚焦有关键作用的连接，并获得在图像分类和目标检测等任务中的显著改善。
Aug, 2020
本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。
May, 2023
本文探讨了网络处理数据复杂性变化的实证研究，以图像分类任务为例，测量了不同网络体系结构对不断增加的类别数目所产生的泛化误差变化情况。
Nov, 2019
本文介绍了如何使用微分拓扑理论来解决 Deep Neural Networks 理论中的三个最基本挑战：表达能力，优化能力和泛化能力，特别是利用流形的微分拓扑模型来阐述 DNN 的损失函数、深度和宽度之间的交互，以及如何通过应用商拓扑来捕捉数据中的无关因素，从而实现对 DNN 架构的研究。
Nov, 2018
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023
通过定义神经网络边界来解决复杂数据集分类所需大型网络架构的问题，并探讨了这种关系与数据集的几何复杂性的变化。此外，通过算法，确认了流行数据集可以用少于两个多面体高效地封装。
Feb, 2024
通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。
Oct, 2023
图神经网络在图结构化数据的表示学习任务中具有捕捉局部和全局模式的能力，但是长程和高阶依赖性带来了挑战。为了解决此问题，该论文提出了拓扑神经网络，并引入了基于拓扑结构的消息传递机制和多元关系归纳偏置，以更好地捕捉依赖关系和设计各向异性聚合方法。此外，还介绍了增强型细胞同构网络，通过增加拓扑消息传递机制，使环形结构中的节点组之间能够直接进行交互。