本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系,并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作,可以逼近一个由紧凑凸多面体包围的指示函数,同时拓展到单纯复合体,以拓扑空间的 Betti 数限制推导上界,并进一步证明了三层 ReLU 网络的通用逼近性质。
May, 2023
简单的神经网络使用 ReLU 激活可以在各种维度中产生单元球近似的多面体,其种类受网络体系结构的调节,此发现开创了通过机器学习进行离散几何研究的新领域,同时也可以用于训练网络的可视化。
Jul, 2023
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023
本文提出代数拓扑作为数据复杂性量度,并通过实证分析展示了神经网络的拓扑容量在不同数据复杂度下都呈现相变现象,从而将现有理论和完全连接的神经网络架构的选择联系起来。
Feb, 2018
本文介绍了一种设计合成数据集来评估神经网络结构能力的方法,并通过构建三个数据集评估了三个网络属性,并发现 U-Net 存在严重的非局部缺陷,提出使用非局部层来解决这个问题,同时提出使用不同的位置编码方法来改善深度估计任务,最后证明自我关注机制在解决更现实的深度估计任务中必不可少。
Apr, 2022
本文利用三角化的方法研究了 ReLU 网络在初始化和梯度下降时的多面体形状,并发现它们相对简单,这是一种新的隐式偏差。此外,本研究还通过界定多面体面的平均数来理论上解释了为什么增加深度不会创建更复杂的多面体,并揭示了网络的简单函数模型和空间分割特性,这些结果具有重要的功能复杂性度量、正则化策略影响等方面的应用潜力。
本文研究神经网络架构对其所能近似的所有函数的级集所施加的拓扑限制,这种方法是独特的,因为它的限制是独立于广泛家族的激活函数的网络深度的。
Sep, 2018
在 Simplicial 2 - 复合体中,我们开发了一个卷积神经网络层,以处理具有图形或超图结构的数据,这提供了图形结构和超图结构之间的中间地带。
Dec, 2020
通过对二元分类问题的数据集进行拓扑学分析,研究网络层数对于数据拓扑的影响,发现神经网络能够通过非同胚映射改变数据的拓扑结构,且 ReLU 激活函数能更有效地实现拓扑的转换。
Apr, 2020
本研究通过研究分段线性激活函数将激活空间分为许多离散的多面体的方式,提出了新的解释神经网络的方法,并在卷积图像分类器和语言模型上进行了实验,揭示了有关神经网络行为的具体预测
Nov, 2022