BriefGPT.xyz
Ask
alpha
关键词
over-parameterized regime
搜索结果 - 5
图神经网络在均场区域的泛化误差
该研究提供了一个理论框架，用于评估图神经网络在过度参数化阶段中进行图分类任务的泛化误差，其中参数数量超过数据点数量。我们探索了两种广泛使用的图神经网络类型：图卷积神经网络和消息传递图神经网络。在该研究之前，过度参数化阶段对泛化误差的现有界限
→
PDF
5 months ago
小初始化的梯度下降收敛性用于非正则化矩阵补全
对称矩阵完成问题的研究表明，使用小初始化的梯度下降算法可以无需显式正则化地收敛到真实解，即使在过参数优化情况下也成立；同时，初始点越小，解的精确度越高。针对该问题的全局收敛性分析借助了一种新颖的弱耦合一致性评估方法，拓展了经典的留一法分析范
→
PDF
5 months ago
通过特征谱分析核无背脊回归中的过拟合特性
我们推导了核矩阵条件数的新界限，并利用它来增强固定输入维度下过参数化区域中核岭回归的非渐近测试误差界限。对于具有多项式谱衰减的核函数，我们得到了先前工作中的界限；对于指数衰减，我们的界限是非平凡和新颖的。我们关于过拟合的结论有两个方面：（i
→
PDF
5 months ago
AAAI
对超参数区间中神经网络的影响函数的重新思考
本文利用神经切线核理论计算对于带拉格朗日正则化均方损失训练的神经网络的影响函数。通过理论分析，证明了在 ReLU 网络的两个层的宽度足够大时，误差可以任意小。此外，案例分析了 IHVP 方法在过度参数化区域的误差限制及其相关性。实验结果验证
→
PDF
3 years ago
SGD 学习过参数化的网络，并可应用于线性可分数据的证明泛化
通过学习两层的过参数化神经网络在使用 Leaky ReLU 激活函数的情况下，为 SGD 进行了优化和泛化的保证，具有独立于网络规模的泛化保证。
PDF
7 years ago
Prev
Next