stochastic training | BriefGPT

关键词stochastic training

搜索结果 - 6

神经网络的实际灵活性如何？
神经网络对数据的拟合能力的研究发现，标准优化算法找到的最小值只能适应参数比样本数量少很多的训练集，卷积网络比多层感知机和视觉注意力变换模型更有效，随机梯度下降在拟合训练集方面比全批量梯度下降更好，对于正确和错误标记样本的拟合能力差异可以预测
PDF16 days ago
mL-BFGS: 基于动量的分布式大规模神经网络优化的 L-BFGS
mL-BFGS 是一种基于动量的轻量级 L-BFGS 算法，为大规模分布式深度神经网络 (DNN) 优化带来了拟牛顿法在大规模训练中的潜力。mL-BFGS 通过引入几乎无额外计算成本的动量方案，并显著减少 Hessian 中的随机噪声，从而
PDFa year ago
残余网络的随机训练：微分方程视角
本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论
PDF6 years ago
ICLR重新思考卷积层通道剪枝中的小范数低信息量假设
本文提出一种基于通道修剪的卷积神经网络加速算法，该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型，并在多个图像识别任务上验证了其竞争性能。
PDF6 years ago
高维深度网络推理
本文介绍了一种深度随机神经网络的推理方法，称为多层向量近似信息传递（ML-VAMP），通过推导模型的均方误差（MSE），它在高维度下具有严格的性能可达性结果。
PDF7 years ago
NIPSSwapout：学习深度网络集成
Swapout 是一种新的随机训练方法，比相同网络结构的 ResNets 表现更好，能够在 CIFAR-10 和 CIFAR-100 数据集上实现最先进的准确性，既可以作为正则化方法禁止层中单元的共适应，也可以作为集成训练方法从丰富的体系结
PDF8 years ago