deep linear networks | BriefGPT

关键词deep linear networks

搜索结果 - 9

具有多个输出和卷积层的有限宽度贝叶斯深度线性网络中的特征学习
在此研究中，我们对多输出和卷积层的有限宽度结构的函数统计提供了严格的结果，从而更接近完整描述贝叶斯设置中特征学习的过程。我们的结果包括：（i）一个对于输出的联合先验分布的确切且简单的非渐近积分表示，以高斯混合形式给出；（ii）在均方误差损失
PDFa month ago
梯度下降中的简约法则用于学习深度线性网络
研究了深线性网络的学习动态，发现梯度下降的内在偏差与节俭的解决方案有关，特别地，当数据具有低维结构时，只在每个权重矩阵的一个小不变子空间内进行学习，从而提高了效率和理解深度学习。
PDFa year ago
深度网络中的显式和隐式正则化结合，实现高效学习
通过研究隐性正则化的梯度轨迹，借鉴深度线性网络梯度下降隐式正则化向低秩解的偏好性，并提出显式惩罚来模拟这种偏好，从而使单层网络可以达到深度线性网络相同的低秩逼近性能。
PDFa year ago
高阶 L2 正则化的线性 DNN 中隐式 SGD 偏差：由高到低秩的单向跳跃
通过 SGD 算法，在一定概率下可以从高秩极小值跳到低秩极小值，但跳回去的概率为零，在矩阵补全任务中，目标是收敛到最小秩的局部极小值。
PDFa year ago
深度线性网络中的神经崩溃：从平衡到不平衡数据
研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。
PDF2 years ago
深度线性网络在浅层网络无法时可能出现良性过拟合
本研究针对使用梯度流训练的深度线性网络的过度风险进行了边界限制，发现与最小 l2 范数插值的已知边界非常接近或者相等，深度并不能提高算法隐藏噪声的能力，并通过模拟数据验证了该边界的典型行为。
PDF2 years ago
具有单神经元层的深度线性网络的全局收敛分析
本文介绍了深度线性网络的非局部收敛分析，特别是考虑具有一个神经元层的深度线性网络，其收敛点在梯度流下产生的任意起点轨迹上，包括收敛到鞍点或原点之一的路径，本文通过扩展 Eftekhari 的工作，以可证明地标识稳定秩集和全局最小化收敛集来实
PDF2 years ago
关于 Dropout 和核范数正则化
该研究对具有平方误差的深层线性网络的 dropout 正则化器进行了正式且完整的表征，并表明显式正则化器由 $L_2$-path 正则化器和其他重新缩放不变项组成，引出了网络映射的平方核范数。最后，作者通过实证结果验证了他们的理论发现。
PDF5 years ago
具任意损失函数的深度线性神经网络：所有的局部极小都是全局极小
本研究考虑使用深度线性网络进行任意凸可微损失的最小化，证明了当隐藏层宽度大于等于输入层或输出层时，局部最小值等价于全局最小值，若损失函数为凸且 Lipschitz 连续但不可微，则深度线性网络可能存在次优解。
PDF7 years ago