over-parametrization | BriefGPT

关键词over-parametrization

搜索结果 - 10

神经网络的近似和梯度下降训练
通过研究使用神经切向核（NTK）优化方法来训练的网络，本文对使用梯度下降训练的网络建立了类似的结果，以扩展逼近结果的平滑性，从而显示了这两种理论的兼容性。
PDFa month ago
基于学生 - 老师框架的随机特征模型的在线学习
研究了两层神经网络中过参数化对学生 - 教师框架的影响，发现只有当学生的隐藏层数量指数级大于输入维度时，才能达到完美的泛化。同时计算了其渐进的泛化误差。
PDFa year ago
在亚二次时间内训练多层过参数化神经网络
本文提出了一种降低神经网络训练成本的框架，其中使用各种技术，包括基于 ReLU 的稀疏化器、低秩数据结构、矩形矩阵乘法、张量草图技术和预处理，实现每次迭代的真正次二次成本。
PDF3 years ago
超参数张量分解的懒惰训练之外
本文研究在过度参数化的目标函数中，通过梯度下降寻找张量分解的方法及其在数据的低秩结构中的应用。
PDF4 years ago
矩阵切诺夫不等式在过度参数化中的二次优化
本研究在深度学习理论中优化了超参数大小，超越了 Li 和 Liang（2018 年）以及 Du、Zhai、Poczos 和 Singh（2019 年）的两项美好成果。
PDF5 years ago
深度学习的选择性概述
介绍了深度学习和神经网络模型（如卷积神经网络、递归神经网络、生成对抗网络）以及训练技术（如随机梯度下降、dropout、批量归一化）的统计学观点，强调了深度学习的新特征（包括深度和过参数化）及其实际和理论上的好处，同时探讨了深度学习的理论基
PDF5 years ago
CVPRT-Net：使用单个高阶张量将完全卷积网络参数化
本文提出一种全新的方法，旨在将卷积神经网络（CNN）完全参数化为高阶低秩张量，并将整个网络进行规范化，从而显著减少参数数量，而且在人体姿势估计这一具有挑战性的任务中，即使使用较小的压缩比，也能够实现卓越的性能。
PDF5 years ago
多分支结构的深度神经网络更少非凸性
我们研究了类似 ResNeXt、Inception、Xception、SqueezeNet 和 Wide ResNet 的多路神经网络结构，并发现这些架构的成功原因之一在于它们较少具有内在非凸性，我们提供了两类网络结构对其对偶间隙的量化保证
PDF6 years ago
探究过度参数化在神经网络泛化中的作用
本研究提出了基于单元能力的复杂度度量，为两层 ReLU 网络提供了更紧密的泛化界限，这可能有助于解释神经网络过参数化的泛化改进现象。同时，我们还提出了一个匹配的 Rademacher 复杂性下限，该下限优于之前神经网络的容量下限。
PDF6 years ago
ICML神经网络中超参数化的强大作用与二次激活函数
本文研究了神经网络学习中超参数化的有效性，提出了一种使用局部搜索算法寻找全局最优解的方法，并使用 Rademacher 复杂性理论证明了在权重衰减的情况下，解决方案在数据采样自正态分布等正则分布的情况下也能很好地推广，同时还分析了具有二次激
PDF6 years ago