over-parameterized | BriefGPT

关键词over-parameterized

搜索结果 - 13

两层 ReLU 卷积神经网络在 XOR 数据中的良性过拟合
通过梯度下降训练的过参数化的修正线性单元卷积神经网络在一定的样本复杂度和信噪比条件下能够实现接近贝叶斯最优准确率，并且能够高效地学习存在高度相关特征的异或类型分类任务。
PDF9 months ago
无需显式正则化，使用极少数据从头开始学习的大型神经网络
深度神经网络模型通常需要大量训练数据，但是最近的研究结果表明高度参数化的神经网络可以在没有预训练或显式正则化的情况下实现泛化，这对于传统的机器学习是完全违背常识的，该研究进一步证实了这一观点，对于卷积神经网络的应用具有启示意义。
PDF2 years ago
ICLR深度 ReLU 隐式网络的全局收敛理论：基于过度参数化
本文分析了 ReLU 激活的隐式神经网络的梯度流，证明了如果隐式神经网络是超参数化的，那么一个随机初始化的梯度下降法可以以线性速率收敛到全局最小值，这一结果与有限层参数超过的神经网络的收敛结果不同，因为本文的结论适用于无限层的神经网络。
PDF3 years ago
对于亚高斯混合分布上，超参数化最大间隔分类的风险界
本文研究现代机器学习系统中深度神经网络等通常高度过参数化的现象，探究其在数据生成、最大边界分类器和风险界限等方面的应用并给出改进性结果。
PDF3 years ago
IJCAI重新思考 DNN 的泛化、记忆和谱偏差之间的关系
研究表明，深度神经网络的学习偏差会在训练的后期阶段出现第二次下降，其高频分量也会因此减少，导致测试误差的第二次下降，而网络的频谱可以用于指示测试误差的第二次下降。
PDF4 years ago
广泛和深度神经网络的随机梯度下降的泛化界限
研究深度神经网络的训练和泛化，在过度参数化的条件下，通过神经切向随机特征模型 (NTRF) 来限制泛化误差，并建立了神经切向内核 (NTK) 的联系。
PDF5 years ago
神经切向核的归纳偏置
本研究分析了神经网络中梯度下降法的学习动态，发现学习过程受一个称为神经切向核的初始化方式所掌控，比较了该核与其他类似结构的核函数的平滑性、逼近性和稳定性等属性，并考察了卷积网络在图像变形下的稳定性。
PDF5 years ago
神经网络上的随机梯度下降学习越来越复杂的函数
实验研究表明，Stochastic Gradient Descent 利用条件互信息学习了从线性分类器到逐渐复杂的函数的分类器，解释了超参数化区域中 SGD 学习的分类器为什么往往具有良好的泛化能力。
PDF5 years ago
早停梯度下降在过度参数化的神经网络上被证明对标签噪声具有鲁棒性
本文研究神经网络的训练，证明使用梯度下降法可以在一定的噪声或污染下保证稳健性，避免过拟合。
PDF5 years ago
超参数神经网络的自适应梯度方法的全局收敛性
提出了一种自适应梯度下降方法，可用于优化过度参数化的两层神经网络，并能在多项式时间内收敛到全局最小值，无需微调超参数，如步长计划，且超参数的级别与训练误差无关。
PDF5 years ago
NIPSDropBlock: 卷积网络的一种正则化方法
本文介绍了一种结构化的 DropBlock 正则化形式，适用于卷积神经网络。在 ImageNet 分类和 COCO 检测中，使用 DropBlock 对 ResNet-50 和 RetinaNet 的平均精度和准确率都有了明显的提升。
PDF6 years ago
ICLR一类深度神经网络的无坏局部山谷损失景观
我们确定了一类过参数化的深度神经网络，使用标准激活函数和交叉熵损失，可以证明在参数空间中不存在坏的局部最小值，意味着这些网络没有次优的严格局部极小值。
PDF6 years ago
过度参数的浅层神经网络优化空间的理论洞见
研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入 / 输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在
PDF7 years ago