具有 Lipschitz 连续性的激活函数和可变宽度的深度神经网络的一致收敛性

Jun, 2023

具有 Lipschitz 连续性的激活函数和可变宽度的深度神经网络的一致收敛性

Uniform Convergence of Deep Neural Networks with Lipschitz Continuous Activation Functions and Variable Widths

Yuesheng Xu, Haizhang Zhang

TL;DR该研究考虑了具有 Lipschitz 连续激活函数和可变宽度权重矩阵的深度神经网络，在权重矩阵和偏置向量的充分条件下，将深度神经网络的一致收敛性分析框架系数提供为无限层时，我们保证了其收敛于有意义的函数，本框架提供了有关宽度有界、无界和固定宽度的深度神经网络的一致收敛的特殊结果。

Abstract

We consider deep neural networks with a Lipschitz continuous activation function and with weight matrices of variable widths. We establish a uniform convergence analysis framework in which sufficient conditions o

deep neural networks lipschitz continuous activation function weight matrices uniform convergence convolutional neural networks

发现论文，激发创造

可训练激活函数和可控 Lipschitz 常数的深度神经网络

本研究提出了一种变分框架来学习深度神经网络的激活函数，旨在增加网络的容量并控制输入输出关系的 Lipschitz 常数的上界，其中引入了线性 Lipschitz 常数的全局界限和一个基于级联线性激活函数的无穷维度变分问题，通过在激活参数上实施 l1 约束来减少了问题的维度，从而获得了稀疏的非线性激活函数，并在标准 ReLU 网络及其变化 PReLU 和 LeakyReLU 上进行了实验验证。

Jan, 2020

1-Lipschitz 神经网络基于 N - 激活的表达更加丰富

通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

Nov, 2023

深度卷积网络的 Lipschitz 属性

本文讨论卷积神经网络的稳定性，以及基于 Lipschitz 性质的特征提取和分类方法，计算了 Lipschitz 边界并将其值与其他方法进行了比较，验证了 Lipschitz 边界计算方法的优越性。

Jan, 2017

使用有界宽度和 ReLU 激活的深度神经网络实现通用函数逼近

本文主要研究具有 ReLU 激活和有限宽度的神经网络的深度表达能力，重点探讨了通过这种网络对连续函数进行逼近的最小宽度和所需深度的问题，最终得出了使用宽度为 $d+3$ 的 ReLU 网络可以以任意精度逼近 $d$ 维空间上的任意标量连续函数的深度估计结论。

Aug, 2017

深窄网络的通用逼近性

该论文证明了神经网络在宽度有限和深度任意的情况下的一些定理，进一步探讨了各种激活函数的影响。

May, 2019

高斯过程对神经网络的非渐进逼近

本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率，说明了两种不同的情况：同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。

Feb, 2021

深度神经网络的 Lipschitz 常数的高效准确估计

本文提出了一种基于凸优化框架和半定规划的方法，用于计算 DNNs 的 Lipschitz 常数的保证上界，通过描述激活函数的性质，使得算法具有较高的准确性和可伸缩性，实验证明该方法的 Lipschitz 边界最准确，可用于有效提供稳健性保证。

Jun, 2019

关于狭窄深度神经网络的决策区域

研究发现，当神经网络的宽度小于或等于输入维度时，决策区域的所有联通组件都是无界的。本文还对此进行了数值实验，并补充了最近对这种狭窄神经网络逼近能力和决策区域连通性的研究成果。

Jul, 2018

使用复数深窄神经网络的通用逼近

本文研究了有界宽度和任意深度的复值神经网络的普适性，给出了激活函数对于网络是否能够进行任意精度的连续函数逼近的充分条件，并证明进行逼近所需的最小宽度。

May, 2023

关于卷积神经网络 Lipschitz 界的研究

本文介绍一个可以估算 CNN 网络的 Lipschitz bound 的线性程序，并使用其测量特性分离的非线性判别分析。

Aug, 2018