神经网络层表示的拓扑数据分析
通过拓扑数据分析法,我们提出了一种新颖的深度学习框架,以更好地分割和不确定性评估复杂的细微结构,如生物医学应用中的神经元、组织和血管,为可扩展的标注提供了有力工具。
Mar, 2024
使用可持续同调应用于拓扑学于机器学习,包括深度学习。该研究提出了一种可微拓扑层,该层基于水平集过滤和边缘过滤计算持续同调。该层在数据重建或机器学习模型权重的规范化,构建构成深度生成网络输出的损失函数以包括拓扑先验,以及对使用持久性特征训练的深度网络进行拓扑对抗攻击等三种应用方面具有创新性。代码公开可用,有望促进深度学习和其他梯度基础应用中的持久同调的使用。
May, 2019
本文在探讨训练机器学习模型时使用拓扑数据分析的特征与使用原始数据的区别,通过神经针线和中心核对齐两种流行度量方法来确定内部表征的相似性,研究表明训练和评估基于拓扑特征的模型与基于原始数据的呈结构性差异,但有时可以通过简单仿射变换来调和这种差异。
Nov, 2022
该研究综述了拓扑数据分析(TDA)在神经网络分析中的应用,并通过使用 TDA 工具如持久性同调和 Mapper 来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略,并回顾了拓扑信息如何被利用来分析神经网络的特性,如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域:1. 神经网络架构的特征化;2. 决策区域和边界的分析;3. 内部表示、激活和参数的研究;4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章,并提供背景信息,以帮助理解各种方法。最后,综合研究获得的关键见解,讨论了领域中的挑战和潜在进展。
Dec, 2023
通过对二元分类问题的数据集进行拓扑学分析,研究网络层数对于数据拓扑的影响,发现神经网络能够通过非同胚映射改变数据的拓扑结构,且 ReLU 激活函数能更有效地实现拓扑的转换。
Apr, 2020
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023