融合拓扑数据分析与卷积神经网络的研究

Jun, 2024

融合拓扑数据分析与卷积神经网络的研究

Research on fusing topological data analysis with convolutional neural network

Yang Han, Qin Guangjun, Liu Ziyuan, Hu Yongqing, Liu Guangnan...

TL;DR基于拓扑数据分析（TDA）和卷积神经网络（CNN），本文提出了一种名为TDA-CNN的特征融合方法，通过融合CNN提取的数值分布特征和TDA提取的拓扑结构特征来改善CNN的特征学习和表示能力。TDA-CNN通过适应性学习每个特征的重要性权重，并在Intel Image、Gender Images和Chinese Calligraphy Styles数据集上进行实验证明，相对于VGG16、DenseNet121和GoogleNet网络，TDA-CNN的性能提升分别为17.5%、7.11%和4.45%，TDA-CNN展示了改进的特征聚类和重要特征识别能力，有效增强了模型的决策能力。

Abstract

convolutional neural network (CNN) struggle to capture the multi-dimensional structural information of complex high-dimensional data, which limits their feature learning capability. This paper proposes a

发现论文，激发创造

拓扑数据分析简介：面向数据科学家的基本和实践方面

本文简要介绍了拓扑数据分析在基本理论和实际应用方面的一些主要进展，特别是拓扑和几何工具在处理复杂数据中提取相关特征方面的应用。

Oct, 2017

深度学习的拓扑方法

在卷积深度神经网络的内部状态上进行拓扑数据分析，以开发对其执行的计算的理解。应用此理解修改计算以（a）加速计算和（b）改进从一组数字到另一组数字的泛化能力。分析的副产品之一是在图像数据集的新特征上产生几何体，并利用此观察结果开发出一种用于构建许多其他几何体的CNN模型的方法，包括由拓扑数据分析构建的图形结构。

Nov, 2018

卷积神经网络激活层拓扑结构实验观察

本文应用拓扑数据分析的前沿技术，通过量化内部表示之间的差异和绘制网络层次结构图等方法，探索了用于图像分类的深度神经网络的可解释性，并提供了实验证据证明这些方法能够捕捉到有关模型过程的可贵结构信息。

Dec, 2022

拓扑深度学习：新兴范式综述

本文综述了拓扑深度学习领域，回顾了拓扑数据分析的核心概念，探讨了如何将TDA技术融入到不同方面的深度学习中，并讨论了拓扑深度学习的挑战和未来前景。

Feb, 2023

从流形学习的角度看深度神经网络架构

本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化，并使用拓扑数据分析和持久性同调分形维数的概念，通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验，为可解释的和可解释的AI的发展做出了贡献。

Jun, 2023

3D 数据拓扑分析的合成数据生成和深度学习

使用深度学习估计3D中由稀疏、无序点云场景表示的流形的拓扑结构，通过合成的标记数据集训练神经网络并评估其估计流形的层面的能力，与基于持续同调的现有拓扑数据分析工具相比，探讨了深度学习模型提取这些特征的优势，并使用语义分割提供额外的几何信息以及拓扑标签，比较了常见的点云多层感知机和Transformer网络的可行性，在模拟数据上的实验结果支持假设，即在复杂的合成数据生成帮助下，神经网络能够执行基于分割的拓扑数据分析，尽管研究集中在模拟数据上，但所达到的准确性暗示了未来使用实际数据的潜力。

Sep, 2023

基于拓扑特征和神经网络的图像分类

通过持续同调方法，将拓扑学特征与深度学习特征相结合，用于多类别分类任务，对MNIST数据集进行分析和评估，发现拓扑信息可以提高神经网络的准确性。

Nov, 2023

神经网络分析的拓扑数据分析综述

该研究综述了拓扑数据分析（TDA）在神经网络分析中的应用，并通过使用TDA工具如持久性同调和Mapper来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略，并回顾了拓扑信息如何被利用来分析神经网络的特性，如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域：1. 神经网络架构的特征化；2. 决策区域和边界的分析；3. 内部表示、激活和参数的研究；4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章，并提供背景信息，以帮助理解各种方法。最后，综合研究获得的关键见解，讨论了领域中的挑战和潜在进展。

Dec, 2023

拓扑深度学习的挑战与机遇

拓扑深度学习是一个快速发展的领域，它使用拓扑特征来理解和设计深度学习模型。本文认为，通过整合拓扑概念，拓扑深度学习可以作为补充图表示学习和几何深度学习的自然选择，并且可以在各种机器学习场景中提供实用的益处和理论基础，并讨论了拓扑深度学习中的一些开放问题，包括潜在解决方案和未来的研究机会。同时，本文也邀请科学界积极参与拓扑深度学习研究，以发掘这个新兴领域的潜力。

Feb, 2024

不同神经网络架构中拓扑结构的表征

本研究利用TDA方法分析神经网络的表示，并发现不同架构的表示存在巨大差异和一些相似之处；相似结构的模型具有类似的表示拓扑，而层数较多的模型则更平滑地改变拓扑；此外，预训练和微调模型的拓扑在中间和最后层开始呈现差异，而在初始层保持相似。这些发现证明了TDA方法在分析神经网络行为方面的有效性。

Jul, 2024