mini-batch sgd | BriefGPT - AI 论文速递

关键词mini-batch sgd

搜索结果 - 6

神经网络如何学习：隐含于随机梯度下降的正则化效应
深度神经网络能够有效地学习目标函数的支持，并且小批量随机梯度下降具有隐式正则化效果，通过学习特征的结构，提高特征的可解释性。
PDF17 days ago
ICLR通过生成函数看小批量随机梯度下降法：收敛条件、相变、从负动量中受益
本文提出了一个新的分析框架来研究 mini-batch SGD 对于具有常数学习率、动量和批次大小的线性模型的噪声平均属性，探讨了问题的谱分布对算法的影响，并验证了使用负动量可以实现最优收敛速率的理论预测。
PDF2 years ago
KDDAGGLIO: 局部凸函数的全局优化
本文介绍了 AGGLIO（Accelerated Graduated Generalized LInear-Model Optimization），一种阶段性的、毕业的优化技术，它提供了针对非凸性优化问题的全局收敛保证，这些问题在全局范围内
PDF3 years ago
大步长同步分布式 SGD 的通信权衡
本文提出了一种名为 local-SGD 的算法，通过逐步同步而非每一步都进行通信提高了通信效率，同时在大步长情况下提供了自适应下限比较。
PDF5 years ago
AAAI大规模约束线性回归再访：通过预条件处理获得更快算法
这篇论文提出了基于近期的数据草图 (sketching) 与优化发展的快速方法，结合 (加速的) mini-batch SGD 与一个叫做两步预处理的新方法，以比当前低精度情况下最先进技术所需的时间复杂度更低的近似解。这个方法也可以扩展到高
PDF6 years ago
AdaBatch：基于有效渐进聚合规则的序列和并行随机梯度方法
本文研究一种用于 mini-batch 的梯度聚合算子，名为 AdaBatch。该算子可用于随机梯度方法，并在稀疏优化问题中大大加速训练过程，同时在保持样本效率的前提下增加批处理大小。实验显示，在光滑凸优化中，该方法甚至可以在固定样本数量的
PDF7 years ago