Jun, 2016

并行 SGD：何时使用平均有帮助？

PDF
TL;DR研究了多个工作者独立运行 SGD 并定期平均模型的常见但未被充分理解的做法，探讨了模型平均作为方差减少机制的两种方式，并说明了平均频率对收敛的影响，对于凸目标函数，频繁平均的好处依赖于梯度方差包络，在非凸目标函数中，该好处取决于多个全局最优点的存在。在合成数据和实际数据上进行了多核实验以补充研究结果。
sgdmodel averagingvariance reductionconvex objectivesnon-convex objectives
发现论文，激发创造
  • 并行重启 SGD：更快收敛，更少通信 —— 揭秘深度学习中模型平均的原理

    本篇论文探讨了为何模型平均可以降低神经网络分布式训练中的通信开销，并阐述该方法与并行小批量随机梯度下降（SGD）在训练时间上的相似性。

    Jul, 2018

  • 非光滑优化的随机梯度下降：收敛结果与最优平均方案

    本文探讨了在没有光滑假设的情况下，以及通过运行平均方案将 SGD 迭代转换为具有最佳优化精度的解决方案的性能，并证明了对于凸非光滑目标函数，最后一个 SGD 迭代的次优性的程度随 T 的轮次按 O（log（T）/sqrt（T））缩放，对于非光滑强凸情况，次优性的程度随 T 按 O（log（T）/ T）缩放。此外，本文提出了一种新的简单平均方案，并提供了一些实验说明。

    Dec, 2012

  • 平均权重导致更宽的随机局部极小值和更好的泛化

    通过在 SGD 轨迹上抽样多个点进行简单平均，Stochastic Weight Averaging（SWA）过程实现了比传统训练更好的泛化，SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高，而且 SWA 实现简单、无几乎不需要计算成本。

    Mar, 2018

  • 最小二乘回归的随机梯度下降并行化：小批量、平均和模型错误

    该研究探讨了在随机梯度下降中广泛使用的平均方案的好处。特别是，通过对最小二乘回归的随机逼近问题进行非渐进超额风险分析，提供了这些方案的性能保证，并提出了高度可并行化的随机梯度下降方法。同时，该研究认为，为了保证最小极大风险，针对混浊噪声的步长必须是噪声属性的一个函数。

    Oct, 2016

  • 并行平均随机梯度算法收敛率

    介绍了一种并行的平均随机梯度算法，能够高效地递归处理高维空间中的大样本数据，并给出了强凸目标和局部强凸目标的平均收敛速度和渐近正态性。

    Oct, 2017

  • 使用模型平均法并行训练深度神经网络的实验

    本研究针对深度神经网络（DNN）的并行训练使用模型平均方法。多 GPU 数据并行化，MPI 进行节点间通信，每隔几个 minibatches 进行模型平均。针对不同的学习速度、平均频率和 minibatch 尺寸探索最佳设置，研究发现 “NG-SGD” 和 “RBM” 预训练有利于基于参数平均的模型训练，可以实现 9.3 倍和 17 倍的加速，只有少量解码精度的损失。

    Jul, 2015

  • 尾平均和小批量化克服 SGD 饱和

    本文探讨随机梯度下降（SGD）在非参数设置中的最小二乘学习，结果显示如何通过多次传递，小批量和平均以及尾平均的不同变体来结合以实现最优学习错误，同时指出尾平均可以比均匀平均获得更快的收敛速率，并且结合使用尾平均和小批量可以比单独使用任何一个组件更具有攻击性的步长选择。

    Feb, 2019

  • 通过迭代平均获得可调整的正则化

    本文提出一种对于任意强凸和光滑的优化问题，通过随机梯度下降的迭代进行均值处理可以获得与正则化参数可调的正则化方案，该方案同样适用于加速和预调节优化方法，并在神经网络等更广泛的优化目标上得到实证验证。

    Aug, 2020

  • 加权平均随机梯度下降：渐近正态性与最优性

    本文探讨了随机梯度下降算法的加速收敛方法，提出了一种自适应加权平均方案，并提供了非渐近收敛的统计保证和在线推断方法。最终的结论表明，该自适应加权平均方案不仅在统计率上是最优的，而且在非渐近收敛方面也具有有利的效果。

    Jul, 2023

  • 多数据中心协作深度学习

    本文讨论了如何在分布式环境下利用模型平均策略进行深度学习的训练，提出了采用循环学习率和增加本地模型训练轮数两种策略的方法，并在实验中证明了该方法在多个数据中心下具有竞争性的性能。

    Oct, 2018