机器学习的新优化方法
该研究提出了一种针对小批量优化问题的新优化方法 SAGA，通过引入一种步长参数，在强凸光滑问题上获得了加速收敛率，同时应用于分割算子方法难以解决的许多领域。
Feb, 2016
该研究论文探讨了在图形模型中计算目标函数和梯度的复杂度，发现选择具有特定图形属性的可计算子图可实现很快的块升级协调算法，并提出了一种基于辅助指数族的算法来应对其他情况，这两种算法在实证中进行了比较。
May, 2012
本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。
Oct, 2016
提出了一种增量主化极小化算法，用于最小化连续函数的大量和，研究给出了非凸优化的渐近稳定点保证，并针对凸优化提供了期望目标函数值的收敛速度，在实验中展示了该方法在解决机器学习问题方面的竞争力以及处理非凸性惩罚稀疏估计的实用性。
Feb, 2014
本文通过优化理论，针对平滑且强凸的有限和问题，提出一种新的求解方法，其理论收敛速度是现有方法的 4 倍，同时还可以实现不重复的抽样，提高计算速度，并通过实证研究已达到了最优表现。
Jul, 2014
引入了一种新的优化问题形式，与传统的最小化机器学习模型损失的黑盒函数的方式不同。通过明确地纳入最初预训练模型和随机草图运算符，允许在训练过程中对模型和梯度进行稀疏化。本研究提出的目标函数具有深刻的性质，并强调其与标准算法的联系。同时，还介绍了几种适应新问题形式的随机梯度下降（SGD）方法的变种，包括具有一般抽样的 SGD、分布式版本和具有方差减小技术的 SGD。通过这种面向稀疏化的优化方法，实现了更紧凑的收敛速度和放松了假设，填补了理论原则与实际应用之间的差距，涵盖了 Dropout 和稀疏训练等几种重要技术。该研究为通过稀疏化感知的优化方法增强对模型训练的理论理解提供了有希望的机会。
Nov, 2023
论文旨在通过提出基于结构的一阶优化算法和网络集合与个体网络之间的一种新对应关系，发展人工神经网络的学习权优化和泛化理论基础，进而在具有远远更多参数的网络中探索正则化的作用。
Oct, 2022
本文提出了基于随机平均梯度方法的优化算法，它克服了黑匣子随机梯度方法的缺点，具有更快的收敛速度和更少的梯度评估数量。实验表明，该算法在许多情况下都优于现有的随机梯度方法和确定性梯度方法，并且可以通过非均匀采样策略进一步提高表现。
Sep, 2013