May, 2023

神经网络宽度的数据拓扑相关上界

PDF
TL;DR本研究旨在探究深度神经网络的通用逼近性质与数据集拓扑特征之间的关系，并通过拓扑结构推导出限制网络宽度的上界。通过设计三层神经网络中的 ReLU 激活函数和最大池化操作，可以逼近一个由紧凑凸多面体包围的指示函数，同时拓展到单纯复合体，以拓扑空间的 Betti 数限制推导上界，并进一步证明了三层 ReLU 网络的通用逼近性质。
发现论文，激发创造
  • 深且狭窄的神经网络不是万能逼近器

    本文研究神经网络架构对其所能近似的所有函数的级集所施加的拓扑限制，这种方法是独特的，因为它的限制是独立于广泛家族的激活函数的网络深度的。

    Sep, 2018

  • 使用有界宽度和 ReLU 激活的深度神经网络实现通用函数逼近

    本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

    Aug, 2017

  • 深度神经网络的拓扑学

    通过对二元分类问题的数据集进行拓扑学分析，研究网络层数对于数据拓扑的影响，发现神经网络能够通过非同胚映射改变数据的拓扑结构，且 ReLU 激活函数能更有效地实现拓扑的转换。

    Apr, 2020

  • 通过数据集的多面体结构定义神经网络架构

    通过定义神经网络边界来解决复杂数据集分类所需大型网络架构的问题，并探讨了这种关系与数据集的几何复杂性的变化。此外，通过算法，确认了流行数据集可以用少于两个多面体高效地封装。

    Feb, 2024

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 深度 ReLU 网络的逼近误差界

    研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

    Oct, 2016

  • 深窄网络的通用逼近性

    该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

    May, 2019

  • 通用逼近的最小宽度

    使用 ReLU 激活功能的网络的最小宽度是 $L^p$ 函数的普遍逼近所需的确切字符，是输入维度 $d_x+1$ 和输出维度 $d_y$ 的最大值。

    Jun, 2020

  • 神经网络的表达能力：基于宽度的视角

    本文研究神经网络的宽度对其表达能力的影响，证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器，同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对 ReLU 网络的表达能力比宽度更为有效。

    Sep, 2017

  • 普适逼近和拓扑神经网络

    本文介绍了一种基于 Tychonoff 拓扑空间的拓扑神经网络和利用 Borel 测度作为数据的分布式神经网络，证明了它们的正确性，并说明了它们是深度学习中 deep sets 的一种一般化。

    May, 2023