frequency principle | BriefGPT

关键词frequency principle

搜索结果 - 6

随机功能链接型神经网络的性质和潜在应用
该研究通过探究频域的角度，发现随机功能相关的神经网络（RFLNNs）倾向于快速捕捉低频率并在训练过程中拟合高频率的组件，并且通过该原理提出了一种 BLS 网络生成方法，并针对不同频率原理提出了求解 Poisson 方程的高效算法。
PDFa year ago
一般深度神经网络的频率原理理论
本文从初始阶段、中间阶段和最终阶段三个方面，从概率角度论证了深度神经网络中 “频率原理” 的普适性，解释了 DNNs 的训练过程，并为深入理解 DNNs 的训练过程提供了理论基础。
PDF5 years ago
两层神经网络中频率原则的隐性偏差显性化
本研究通过发现深度神经网络训练中的隐性偏差（如频率规则）来理解为何带有更多参数的深度神经网络通常可以很好地泛化；通过为两层 ReLU 神经网络显式化这种隐性偏差，提出了一种基于频率规则动力学的模型，解释了学习的结果并提供了一个可以先验估计泛
PDF5 years ago
频率原理：傅里叶分析揭示深度神经网络
本研究从傅里叶分析的角度研究了深度神经网络（DNNs）的训练过程，并提出了一种非常通用的频率原理（F-Principle），即 DNNs 通常从低到高频率拟合目标函数，在常用激活函数的规律性的影响下表现出异于传统迭代数值方案的行为。这种 F
PDF5 years ago
深度学习中基于一般损失函数的频率原则及其潜在应用
研究表明，深度神经网络具有从低到高频率捕捉目标函数的能力，这被称为频率原理。本文证明了频率原理适用于广泛的损失函数，并能应用于解决不同类型问题的数值方案中，例如：利用 DNN 解决常规方法较慢的微分方程问题。
PDF6 years ago
深度神经网络在频域下的训练行为
通过对实际和合成数据集的实证研究，我们发现常见设置下的深度神经网络首先快速捕捉到主导低频部分，然后相对缓慢地捕捉高频部分，我们称之为频率原理 (F-Principle)，这一原则有助于理解早停的效果以及神经网络的泛化。
PDF6 years ago