linear neural networks | BriefGPT

关键词linear neural networks

搜索结果 - 7

（深层）线性神经网络中的权重波动与逆方差平坦关系的推导
我们研究了合成高斯数据中单层和双层线性神经网络在随机梯度下降（SGD）的持续（末期）训练阶段。我们发现，在过度采样不足的弱过采样范围内，单层网络的噪声协方差矩阵的谱明显偏离 Hessian，可归因于 SGD 动力学的详细平衡破坏。在这种情况
PDF7 months ago
ICML深度网络平坦极小值的独特特性
研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极
PDF4 years ago
ICML深度线性神经网络优化中证明宽度的重要性
证明全连接线性神经网络每个隐藏层的宽度大于 $\tilde\Omega (L \cdot r \cdot d_{\mathrm {out}} \cdot \kappa^3)$ 时，高斯随机初始化的梯度下降算法会以线性速率收敛到全局最小值，
PDF5 years ago
MM一维深度线性神经网络梯度下降的指数收敛时间
研究了基于梯度下降的深度线性神经网络训练中的收敛问题，发现在标准随机初始化下，迭代次数随着深度指数级增加，这可能是深度线性神经网络的梯度方法收敛难以理解的一个潜在障碍。
PDF6 years ago
ICML关于 Dropout 的隐式偏差
本文主要研究 dropout 在深度学习中的应用，发现 dropout 会在单隐藏层线性神经网络中导致隐藏节点的输入 / 输出权重向量模长相等，同时提供了 dropout 所导致的优化景观的完整特征描述。
PDF6 years ago
学习深度模型：临界点和局部开放性
该篇论文提出了一个统一框架，确定了训练非凸模型产生的优化问题的局部 / 全局最优等价性，讨论了线性神经网络和具有一定金字塔结构的非线性深层模型的局部 / 全局最优等价性，并提供了简单的充分条件。
PDF6 years ago
ICML深度神经网络优化：超参数化隐式加速
本论文探讨深度学习模型的深度与优化之间的关系，通过对过度参数化模型的研究，发现适度的增加模型层数可以作为预处理器减轻优化量，加速模型的训练。
PDF6 years ago