Jul, 2023

深度图像持久性解决神经持久性的注意事项

PDF
TL;DR神经持续性是在深度学习中的拓扑数据分析领域提出的量化神经网络复杂性的重要指标，本文发现了理论上和实证上对神经持续性产生影响的两个主要因素是网络权重的方差和大权重的空间集中度。然而，我们发现在深度神经网络的后层中不存在相关的空间结构，使得神经持续性与权重的方差大致等价。基于我们的分析，我们提出了将神经持续性的过滤推广到整个神经网络而不是单个层次的方法，这相当于在一个特定矩阵上计算神经持续性。这产生了我们的深度图持续性度量，隐含地融入了网络中的持久路径并通过标准化缓解了与方差相关的问题。代码在此链接可获得。
发现论文，激发创造
  • 神经持久性：使用代数拓扑测量深度神经网络的复杂度

    本文提出了一种基于拓扑数据分析的神经网络架构复杂性度量 —— 神经持久性，用于表征和监控结构特性，并通过此方法展示了 dropout 和 batch normalization 等深度学习社区开发的最佳实践。此外，还提出了一种基于神经持久性停止准则，可在缩短训练过程同时实现与基于验证损失的早停相当的准确性。

    Dec, 2018

  • 神经持续动力学

    通过学习拓扑特征的隐藏动态模型，我们提出的神经持久动态模型在各种参数回归任务中实质性地优于当前最先进的模型。

    May, 2024

  • PersLay: 用于保持图和新图形拓扑特征的神经网络层

    本文介绍了一种将图编码为永久图并进行向量化的稳定方法，并提出一个通用而灵活的永久图向量化框架，该框架囊括了文献中使用的大部分向量化技术，并在实际数据集上的分类任务中取得了竞争力的成绩。

    Apr, 2019

  • 利用持久性去相关神经元

    通过减少神经元之间的高相关性来提高深度学习模型的泛化能力的方法被提出。该方法使用一个最小生成树的权重作为正则化项，权重是由相关性差异计算得出的。通过实验证明了这些正则化项的有效性，并且表明简单地最小化所有神经元之间的相关性得到的准确率反而更低，这表明冗余在人工神经网络中扮演了重要角色。此外，该方法实现了全连接神经元的拓扑持续性正则化，并且适用于分类、数据生成或回归等任何深度学习任务。

    Aug, 2023

  • 基于核嵌入和加权因子的持久性图核方法

    本文提出了一种基于持久图的核方法，通过该方法可以控制持久性的效应并在数据分析中折算噪声拓扑特征。该方法还提供了一种快速逼近技术，并在几个实际问题中得到了应用。

    Jun, 2017

  • GEFL：图分类的扩展过滤学习

    使用扩展持久性技术将全局拓扑信息融入图分类的监督学习框架中，通过可导的读出函数计算扩展持久性获取全局拓扑信息；使用链剪树数据结构和并行计算降低计算复杂度，使扩展持久性在机器学习中具备可行性。研究结果表明，在特定条件下，扩展持久性在表达能力上超越了 WL 图同构测试和 0 维条形码，因为它提供更多的全局（拓扑）信息，并能表示任意长的循环。此外，通过与现有的图表示学习方法进行比较，验证了我们方法在真实数据集上的有效性。

    Jun, 2024

  • 学习基于持久化摘要的度量及其在图分类中的应用

    使用一种称为持续同调的拓扑工具及其对应的持久图摘要的新特征表示和数据分析方法，提出了一种新的加权核，称为 WKPI，以及一种优化框架，用于学习持久性摘要的最佳度量，并将其应用于图分类中，获得了比以往任何一个图分类框架都更好的结果。

    Apr, 2019

  • 神经网络层表示的拓扑数据分析

    该论文研究神经网络层内部如何保留拓扑特征。使用拓扑数据分析技术，计算了一个简单前馈神经网络的层表征在类克莱因瓶扭结构变化下的拓扑特征。在较早层，网络看起来近似于同胚，但在较深层时数据的拓扑结构被明显更改，导致持久同调无法计算这些特征。但在具有双射激活函数的网络中，类似的拓扑特征似乎可以更持久地存在。

    Jul, 2022

  • 用于拓扑统计的持久景观工具箱

    用拓扑数据分析方法，通过计算保持景观等拓扑信息的特征，将不同维度的几何数据转化为低纬度拓扑信息，并将其与统计学和机器学习方法相结合，以便从中提取有用的信息。

    Dec, 2014

  • 机器学习的拓扑层

    使用可持续同调应用于拓扑学于机器学习，包括深度学习。该研究提出了一种可微拓扑层，该层基于水平集过滤和边缘过滤计算持续同调。该层在数据重建或机器学习模型权重的规范化，构建构成深度生成网络输出的损失函数以包括拓扑先验，以及对使用持久性特征训练的深度网络进行拓扑对抗攻击等三种应用方面具有创新性。代码公开可用，有望促进深度学习和其他梯度基础应用中的持久同调的使用。

    May, 2019