ICLRDec, 2018

神经持久性：使用代数拓扑测量深度神经网络的复杂度

PDF
TL;DR本文提出了一种基于拓扑数据分析的神经网络架构复杂性度量 —— 神经持久性，用于表征和监控结构特性，并通过此方法展示了 dropout 和 batch normalization 等深度学习社区开发的最佳实践。此外，还提出了一种基于神经持久性停止准则，可在缩短训练过程同时实现与基于验证损失的早停相当的准确性。
发现论文，激发创造
  • 深度图像持久性解决神经持久性的注意事项

    神经持续性是在深度学习中的拓扑数据分析领域提出的量化神经网络复杂性的重要指标，本文发现了理论上和实证上对神经持续性产生影响的两个主要因素是网络权重的方差和大权重的空间集中度。然而，我们发现在深度神经网络的后层中不存在相关的空间结构，使得神经持续性与权重的方差大致等价。基于我们的分析，我们提出了将神经持续性的过滤推广到整个神经网络而不是单个层次的方法，这相当于在一个特定矩阵上计算神经持续性。这产生了我们的深度图持续性度量，隐含地融入了网络中的持久路径并通过标准化缓解了与方差相关的问题。代码在此链接可获得。

    Jul, 2023

  • 利用代数拓扑学表征神经网络的容量

    本文提出代数拓扑作为数据复杂性量度，并通过实证分析展示了神经网络的拓扑容量在不同数据复杂度下都呈现相变现象，从而将现有理论和完全连接的神经网络架构的选择联系起来。

    Feb, 2018

  • 利用代数拓扑描述神经网络嵌入空间的演化

    通过 Betti 数我们研究了在经过深度神经网络的各个层时，特征嵌入空间的拓扑结构如何变化。我们使用了拓扑同调理论中的方格同调进行了扩展分析，使用了各种流行的深度架构和真实图像数据集。我们证明随着深度的增加，一个拓扑上复杂的数据集会被转换成一个简单的数据集，Betti 数会取得最低可能的值。拓扑复杂度的衰减速率可以量化架构选择对泛化能力的影响。此外，我们从表示学习的角度强调了几种不变性，例如 (1) 相似数据集上的体系结构、(2) 深度可变的嵌入空间、(3) 嵌入空间与输入分辨率 / 大小以及 (4) 数据子采样。为了进一步证明网络的表达能力与泛化能力之间的联系，我们考虑了下游分类任务 (迁移学习) 中预训练模型的排序任务。与现有方法相比，所提出的度量方法与通过微调预训练模型实际可达到的准确性具有更好的相关性。

    Nov, 2023

  • 神经持续动力学

    通过学习拓扑特征的隐藏动态模型，我们提出的神经持久动态模型在各种参数回归任务中实质性地优于当前最先进的模型。

    May, 2024

  • 复杂网络的持久同调

    该研究介绍了一个新的拓扑不变量 —— 持续同调，它代表了一个 Betti 数的参数化版本，可以用于区分长期和短期的拓扑特征，并且可以展示出不同网络拓扑特征之间的差异，从而反映出网络的强韧性与连通性等特性。

    Nov, 2008

  • 基于拓扑特征和神经网络的图像分类

    通过持续同调方法，将拓扑学特征与深度学习特征相结合，用于多类别分类任务，对 MNIST 数据集进行分析和评估，发现拓扑信息可以提高神经网络的准确性。

    Nov, 2023

  • 从拓扑学角度学习神经网络的连接性

    本文提出了一种基于拓扑结构优化神经网络连接性的方法，通过为边分配可学习参数并施加稀疏约束，更聚焦有关键作用的连接，并获得在图像分类和目标检测等任务中的显著改善。

    Aug, 2020

  • 基于核嵌入和加权因子的持久性图核方法

    本文提出了一种基于持久图的核方法，通过该方法可以控制持久性的效应并在数据分析中折算噪声拓扑特征。该方法还提供了一种快速逼近技术，并在几个实际问题中得到了应用。

    Jun, 2017

  • 深度神经网络的表现力

    本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

    Jun, 2016

  • PersLay: 用于保持图和新图形拓扑特征的神经网络层

    本文介绍了一种将图编码为永久图并进行向量化的稳定方法，并提出一个通用而灵活的永久图向量化框架，该框架囊括了文献中使用的大部分向量化技术，并在实际数据集上的分类任务中取得了竞争力的成绩。

    Apr, 2019