relu neural networks | BriefGPT

关键词relu neural networks

搜索结果 - 25

两层神经网络中频率原则的隐性偏差显性化
本研究通过发现深度神经网络训练中的隐性偏差（如频率规则）来理解为何带有更多参数的深度神经网络通常可以很好地泛化；通过为两层 ReLU 神经网络显式化这种隐性偏差，提出了一种基于频率规则动力学的模型，解释了学习的结果并提供了一个可以先验估计泛
PDF5 years ago
深度神经网络和参数化偏微分方程的理论分析
本研究旨在通过利用解空间的低维特性，导出 ReLU 神经网络逼近参数化偏微分方程解映射复杂度的上界，具有较传统神经网络逼近结果更优的逼近速率。具体而言，在不了解具体形状的情况下，我们利用小型降维基解的存在性，构建了一些神经网络，以便大范围参
PDF5 years ago
超参数化神经网络中的隐式正则化
本文通过引入梯度间隙偏差和梯度偏转等统计量，从理论和实证角度研究了内隐正则化在 ReLU 神经网络中的运作方式，结果表明通过随机初始化和随机梯度下降的方式有效地控制网络输出，使其在样本之间直线插值且负责度较低。
PDF5 years ago
两层 ReLU 神经网络中的虚假局部极小值普遍存在
本文研究了如何通过过量参数方法减少 ReLU 神经网络中的假局部极小值问题，并通过集中度证明说明在高维输入空间中几乎所有有关大小的目标网络都会出现假局部极小值问题。
PDF7 years ago
使用深度 ReLU 神经网络对分段光滑函数进行最优逼近
研究了在 $L^2$ 意义下逼近分类器函数所需的 ReLU 神经网络的深度和权重数量，构造了一类具有固定层数的人工神经网络，使用 ReLU 激活函数逼近可允许不连续的分段 $C^β$ 函数，权重数量为 $O (ε^{-(2 (d-1))/β
PDF7 years ago