May, 2023

使用高阶激活函数在 Barron 空间之间进行嵌入

PDF
TL;DR通过研究激活函数的嵌入，特别是矩形功率单位，证明了许多常用激活函数的 Barron 空间嵌入到一个激活函数为 RePU 的 Barron 空间中，并且这些 RePU 与 Sobolev 空间 H^m 有类似的分层结构。
neural networksactivation functionsbarron spacesembeddingrepu
发现论文，激发创造
  • 用带有修正幂单元的深度神经网络更好地逼近高维光滑函数

    本文研究使用深层神经网络进行平滑函数的逼近，提出了基于经典多项式逼近理论的优化算法与框架，并发现使用修正功率单元的网络对于逼近平滑函数比使用修正线性单元的网络具有更好的表现，网络的大小也更为紧凑，适用于损失函数中涉及求导的场合。

    Mar, 2019

  • 具有 RePU 激活函数的可微分神经网络：应用于分数估计和保序回归

    本文以 RePU 函数激活的可微分神经网络为研究对象，探讨其导数的性质和逼近能力，进而提出了利用 RePU 网络进行曲线拟合和罚函数优化的方法，并证明了当数据分布在低维流形上时，该方法可以有效解决维数灾难问题。

    May, 2023

  • Barron 型空间的嵌入不等式

    本文研究深度学习理论中关于高维度下两层神经网络逼近和泛化特性的问题，引入 Barron 空间和谱 Barron 空间来探究函数的光滑度，建立了这两种空间之间的连续嵌入关系，提供了实例证明下界是紧的。

    May, 2023

  • 通用激活：多变量投影

    基于结构相似性，通过将 ReLU 替换为广义投影算子，将其扩展为具有多个输入和多个输出的多元投影单元 (MPU)，证明了在表达能力方面，由 SOC 投影激活的 FNN 优于利用 ReLU 的 FNN。实验评估进一步证实了 MPU 在更广泛的现有激活函数范围内的有效性。

    Sep, 2023

  • Padé 激活单元：在深度网络中端到端学习灵活的激活函数

    本文中介绍了一种新的非线性激活函数 ——Padé 激活单元 (PAUs)，能够代替传统手动选择的固定激活函数，增加深度神经网络的预测性能和可靠性。

    Jul, 2019

  • 神经网络模型的 Barron 空间和流诱导函数空间

    本文研究了机器学习模型分析中的关键问题，即如何确定适当的函数空间和模型的范数，针对两种典型的神经网络模型（即双层网络和残差神经网络），提出了 Barron 空间和流引导函数空间，并证明了这些空间下的函数具有最优的直接和反向逼近定理，同时表明这些范数下的有界集的 Rademacher 复杂度具有最优的上界。

    Jun, 2019

  • ReLU 浅层神经网络的逼近速度

    ReLU shallow neural networks can uniformly approximate functions from the H"older space with rates close to the optimal one in high dimensions.

    Jul, 2023

  • 深度神经网络的表示定理

    通过引入功能规则化到损失函数中，基于二阶总变差准则，提出了一种可以用于通信、编码和学习的深度神经网络优化方法；同时，通过使用自适应节点的非均匀线性样条，可以实现每个神经元的动作编码。

    Feb, 2018

  • 关于多层 ReLU 网络相关的 Banach 空间：函数表示、逼近理论和梯度下降动态

    本文提出了适用于 ReLU 神经网络的 Banach 空间，其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象，具有低的 Rademacher 复杂性和良好的泛化特性，函数可以通过多层神经网络进行近似，收敛速率与维度无关。

    Jul, 2020

  • 带有无界激励函数的神经网络是一种通用的逼近器

    通过 Fourier 分片定理、Radon 变换和 Parseval 关系，证明了带无界激活函数的神经网络仍然满足通用逼近性质，并且表明在反向传播后，Ridgelet 变换或 Radon 域中的反投影滤波器是神经网络学习到的内容。

    May, 2015