BriefGPT.xyz
Ask
alpha
关键词
overparameterized deep networks
搜索结果 - 3
ICML
在达成零训练误差后,我们是否需要零训练损失?
本研究提出了一种称为 flooding 的解决方案,通过限制训练误差在一个合理的小值范围内,以达到更好的泛化效果,并在实验中证明了有效性。
PDF
4 years ago
ICLR
通过泛化噪音鲁棒性,确定性 PAC-Bayesian 深度网络泛化界
本文研究了过参数化的深层网络使用随机梯度下降法(SGD)能够良好推广的能力,提出了一种 PAC-Bayesian 框架,利用这种能力为原始网络提供界限,同时不会受到权重矩阵谱范数乘积的影响。
PDF
5 years ago
均匀收敛可能无法解释深度学习中的泛化
通过实验结果,揭示了现存深度学习的多种基于均匀收敛理论的泛化界都是数值较大,因而引起了人们的质疑。而对于使用 GD 训练的超参数线性分类器和神经网络,即使我们考虑 GD 的隐式偏差,两边的均匀收敛都无法解释泛化,使得基于均匀收敛的泛化界失去
→
PDF
5 years ago
Prev
Next