Nov, 2023

通用公式的结构

PDF
TL;DR通过分析高度表达力模型的基本结构元素，我们引入了一个表达力类别的层次结构，将全局可近似性属性与无限 VC 维度的弱属性相连接，并证明了几个逐渐复杂的功能族的分类结果。特别地，我们介绍了一个通用的多项式 - 指数 - 代数功能族，经证明它受到了多项式约束。作为结果，我们表明具有不超过一层具有超越激活函数（如正弦或标准 sigmoid）的固定大小的神经网络通常无法近似任意有限集上的函数。另一方面，我们提供了包括两层隐藏层神经网络在内的函数族的示例，它们在任意有限集上可近似函数，但在整个定义域上却无法做到。
发现论文，激发创造
  • 神经网络的近似能力探究

    本文使用直接代数证明了通用逼近定理，进一步量化了逼近所需的隐层单元数，并且证明了在权重上施加限制下仍然保持均匀逼近性质。

    Feb, 2020

  • 非紧致均匀普适逼近

    通过研究神经网络的一层隐藏层，我们发现所有在无穷远处趋于零的连续函数可以被具有渐近线性行为的非零连续激活函数的神经网络进行均匀逼近，并且我们确定了这些函数可被离散的 sigmoidal 函数的积的闭线性包所表示的代数结构。

    Aug, 2023

  • 使用复数深窄神经网络的通用逼近

    本文研究了有界宽度和任意深度的复值神经网络的普适性，给出了激活函数对于网络是否能够进行任意精度的连续函数逼近的充分条件，并证明进行逼近所需的最小宽度。

    May, 2023

  • 向量和超复数值神经网络的普适逼近定理

    该论文扩展了普适逼近定理用于广泛的矢量值神经网络，包括各种超复数值模型作为特殊实例的概念，并在这些代数结构上阐述了普适逼近定理。

    Jan, 2024

  • 神经网络的普适逼近和无限维映射逼近统一保证

    本文讨论了使用无限维度神经网络进行非线性算子的普适逼近的问题，并证明了对于不同的无限维度神经网络，只要在拓扑上有些轻微的条件，就能近似地表示出任意连续算子，并提供了有限逼近无限神经网络所需的最小输入和输出单元的下界。

    Oct, 2019

  • 神经网络的表达能力

    探讨神经网络的近似能力和表达能力，对 ReLU-networks 的 $L^p$-norms 进行了最优逼近，并提出了两个表达能力的框架，对于其他规范如 Sobolev norm $W^{1,1}$ 和不同的激活函数，提出了更多问题和探讨.

    May, 2023

  • 神经网络表达分布能力探究

    通过 Barron 定理，我们证明了一组满足某些 Fourier 条件的函数的组合可以通过一个多达 $n+1$ 层的神经网络来逼近，为深度神经网络的表达能力提供了解释。英文原文主要探讨了神经网络的一些基本性质以及其在生成模型领域的应用，建议阅读原文以获取更多细节。

    Feb, 2017

  • 非欧几里德通用逼近

    通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

    Jun, 2020

  • 深窄网络的通用逼近性

    该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

    May, 2019

  • 深度网络表达自然函数的能力

    证明深度神经网络可以有效逼近多元多项式，但当只有一个隐藏层时，所需的神经元数量呈指数级增长；另一方面，增加隐藏层数量从 1 到 k 时，所需的神经元数量的增长速度是随着 n^(1/k) 对数增长，暗示了实用的表达所需的最小层数仅对 n 进行对数级增长。

    May, 2017