深度学习的拓扑方法

Nov, 2018

Topological Approaches to Deep Learning

Gunnar Carlsson, Rickard Brüel Gabrielsson

TL;DR在卷积深度神经网络的内部状态上进行拓扑数据分析，以开发对其执行的计算的理解。应用此理解修改计算以（a）加速计算和（b）改进从一组数字到另一组数字的泛化能力。分析的副产品之一是在图像数据集的新特征上产生几何体，并利用此观察结果开发出一种用于构建许多其他几何体的 CNN 模型的方法，包括由拓扑数据分析构建的图形结构。

Abstract

We perform topological data analysis on the internal states of convolutional deep neural networks to develop an understanding of the computations that they perform. We apply this understanding to modify the computations so as to (a) speed up computations and (b) improve →

topological data analysis convolutional deep neural networks computation generalization geometry

发现论文，激发创造

拓扑深度学习：新兴范式综述

本文综述了拓扑深度学习领域，回顾了拓扑数据分析的核心概念，探讨了如何将 TDA 技术融入到不同方面的深度学习中，并讨论了拓扑深度学习的挑战和未来前景。

Feb, 2023

卷积神经网络激活层拓扑结构实验观察

本文应用拓扑数据分析的前沿技术，通过量化内部表示之间的差异和绘制网络层次结构图等方法，探索了用于图像分类的深度神经网络的可解释性，并提供了实验证据证明这些方法能够捕捉到有关模型过程的可贵结构信息。

Dec, 2022

利用拓扑特征的深度学习

本文提出了一种新颖的输入层技术，可以输入拓扑特征的签名到深度神经网络，并在训练过程中学习任务最优的表示方法，分类实验结果表明此技术的多功能性和优越性。

Jul, 2017

从流形学习的角度看深度神经网络架构

本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的 AI 的发展做出了贡献。

Jun, 2023

深度图像理解的拓扑表示学习

通过拓扑数据分析法，我们提出了一种新颖的深度学习框架，以更好地分割和不确定性评估复杂的细微结构，如生物医学应用中的神经元、组织和血管，为可扩展的标注提供了有力工具。

Mar, 2024

从拓扑学角度学习神经网络的连接性

本文提出了一种基于拓扑结构优化神经网络连接性的方法，通过为边分配可学习参数并施加稀疏约束，更聚焦有关键作用的连接，并获得在图像分类和目标检测等任务中的显著改善。

Aug, 2020

深度卷积神经网络分析的改进

本论文提出了一种基于可视化分析的方法，以更好地理解、诊断和改进深度卷积神经网络，并使用一些新的算法和技术来显示神经元和神经元群之间的多个方面和交互作用。

Apr, 2016

拓扑深度学习架构：拓扑神经网络综述

Topological Deep Learning 解决复杂系统数据处理与知识提取的框架，但目前 Topological Neural Network 研究缺乏统一的符号和语言。本文提供对 TDL 可访问的介绍，并使用统一数学和图形符号比较最近发表的 TNN。通过对 TDL 领域的直观和批判性评估，提取有价值的见解，为未来发展提供激动人心的机遇。

Apr, 2023

神经网络层表示的拓扑数据分析

该论文研究神经网络层内部如何保留拓扑特征。使用拓扑数据分析技术，计算了一个简单前馈神经网络的层表征在类克莱因瓶扭结构变化下的拓扑特征。在较早层，网络看起来近似于同胚，但在较深层时数据的拓扑结构被明显更改，导致持久同调无法计算这些特征。但在具有双射激活函数的网络中，类似的拓扑特征似乎可以更持久地存在。

Jul, 2022

神经网络分析的拓扑数据分析综述

该研究综述了拓扑数据分析（TDA）在神经网络分析中的应用，并通过使用 TDA 工具如持久性同调和 Mapper 来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略，并回顾了拓扑信息如何被利用来分析神经网络的特性，如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域：1. 神经网络架构的特征化；2. 决策区域和边界的分析；3. 内部表示、激活和参数的研究；4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章，并提供背景信息，以帮助理解各种方法。最后，综合研究获得的关键见解，讨论了领域中的挑战和潜在进展。

Dec, 2023