two-layer neural networks | BriefGPT

关键词two-layer neural networks

搜索结果 - 8

基于核视角的两层神经网络的均场分析
在这篇论文中，我们通过核方法的视角研究了两层神经网络在均场极限下的特征学习能力。我们利用两个时间尺度的极限来聚焦于第一层产生的核动态，从而将学习问题转化为对内在核的最小化问题。我们还展示了均场 Langevin 动力学的全局收敛性，并推导了
PDF3 months ago
高斯输入下学习子空间稀疏多项式的平均场分析
我们研究了使用随机梯度下降和两层神经网络学习子空间稀疏多项式的均场流动，其中输入分布为标准高斯分布，输出仅依赖于将输入投影到低维子空间上。我们提出了 Abbe 等人（2022）中合并阶梯特性的无基础推广，并建立了 SGD 可学习性的必要条件
PDF5 months ago
一次梯度下降后两层网络中特征学习的渐近性
通过连接非线性尖峰矩阵模型和高斯普遍性的最新进展，我们确切描述了两层神经网络在高维极限中的泛化误差，其中样本数 (n)、宽度 (p) 和输入维度 (d) 以相同的速度增长，同时阐明了数据适应对网络在梯度方向高效学习非线性函数的重要性，而在初
PDF5 months ago
随机梯度下降的噪声几何：定量和分析性特征化
本文对超参数化线性模型和两层神经网络的噪声几何进行全面的理论研究，揭示了随机梯度下降在逃离尖锐极小值时存在沿平坦方向的显著分量。
PDF9 months ago
一种对随机特征模型和两层神经网络进行泛化分析的二元框架
本研究通过对学习 Fp,π 和 Barron 空间中的函数这一问题的探讨，揭示了这些空间的逼近和估计可以在某种意义上等价。这使我们能够将重点放在逼近和估计这一较容易的问题上，当研究两个模型的泛化时。此外，我们通过两个具体的应用程序全面分析了
PDFa year ago
均场 Langevin 动力学：指数收敛和退火
本文研究了噪声粒子梯度下降算法，该算法用于求解带熵项的凸函数的最小化，证明了当一类 Log-Sobolev 不等式成立时，此算法在指数级别内收敛，适用于某些两层神经网络风险最小化的问题，并研究了退火动态的收敛性。
PDF2 years ago
全局凸优化：通过神经半定程序提升多项式激活神经网络的神经谱聚合
本文提出了基于半定规划的二层神经网络的精确凸优化公式，可在多种神经网络体系结构中实现全局最优解，相比标准反向传播方法速度更快且准确性更高。
PDF3 years ago
神经网络是凸正则化器：两层神经网络的精确多项式时间凸优化公式
本文中，我们利用半无限对偶及最小规范化，将使用修正线性单元的两层神经网络的训练准确表述为单一凸程序，其变量数量与训练样本数量和隐藏层神经元数量呈多项式关系，并证明使用标准权重衰减进行修正线性单元网络训练的等效于带块 $l_1$ 惩罚的凸模型
PDF4 years ago