overparametrized neural networks | BriefGPT

关键词overparametrized neural networks

搜索结果 - 5

监督分类的信息论视角下的误差边界
采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了
PDFa month ago
浅层神经网络的插值性质
本文研究过参数神经网络的损失曲面的全局最小值的几何结构，证明浅层神经网络可以插值任何数据集，给出全局最小值的 Hessian 矩阵的特征表达式，并提供一种实用的概率方法寻找插值点。
PDFa year ago
深度和初始化对无限宽神经切向核的影响
本文研究了深度与宽度相当的全连接 ReLU 网络的神经切向核（Neural Tangent Kernel）及其性质，发现其性质取决于深度与宽度之比以及初始状态下参数分布的情况。结果表明，在超参数空间中，有序、混沌和混沌边缘三个阶段很重要。在
PDF2 years ago
正则化很重要：关于过度参数化神经网络的非参数视角
本文研究了超参数化神经网络在存在随机噪声的情况下恢复真实目标函数的能力，证明了采用 L2 正则化的神经网络与相应的神经切线核的核岭回归输出相似，并可以实现 L2 估计误差的最佳最小值，数值实验证实了该理论，同时表明 L2 正则化方法提高了训
PDF4 years ago
过度参数化模型中的核心和丰富区域
研究发现神经网络在过参量化后，当行为符合核化线性预测器时，在梯度下降的训练下能找到最小 RKHS 范数解；与此不同的是，梯度下降在过参量化的多层网络上可能引入不是 RKHS 范数的丰富隐性偏差。本文基于 Chizat 和 Bach 的观察，
PDF5 years ago