本研究提出了一种基于 Hamiltonian dynamical systems 和 symplectic integration 的框架，用于将加速梯度方法中连续时间动态转换成离散时间算法，从而实现 oracle 下界，这一框架将加速梯度方法引入了不同的优化领域。

Feb, 2018

本文从连续时间的角度研究了加速方法，发现 Bregman Lagrangian 是一种生成各种加速方法的拉格朗日函数，其中包括 Nesterov 成果的系统方法。

Mar, 2016

本文探讨了凸优化中梯度方法的加速现象，并将高阶梯度方法与拉格朗日泛函等价地联系起来，同时得出拉格朗日量具有时空不变性的结论。

Sep, 2015

采用基于哈密顿视角的方法，将 Nesterov 加速梯度下降法和 Polyak 重球方法泛化为广泛的动量方法，得到了无限制约束的最小化问题的一般性和统一性收敛分析，具有直观的时间变化哈密顿量和守恒量。

Jun, 2019

本文介绍了一种基于坐标变换的策略，以加速和改善机器学习优化算法的性能，有效减缓贫瘠高原和局部极小值对算法性能的影响，并在量子机器学习算法的基础上进行了验证和 benchmark，获得了显著的性能提升。

Apr, 2023

本文研究了一类耗散哈密顿系统的结构保存离散化方法及其在机器学习中的应用，包括流行的加速优化算法 Nesterov 及 Polyak's heavy ball 的初步分析和新洞见，同时提出了一种基于耗散相对论系统的新算法可应用于加速优化但规避额外成本

Mar, 2019

本文介绍了一种结构化数据拟合应用的优化问题的混合方法，同时具有增量梯度算法的高效迭代和完全梯度算法的稳定收敛性，基于这种方法提出了一个实用的拟牛顿算法实现，并通过数值实验证明了其潜在优势。

Apr, 2011

本文研究了基于梯度流的采样方法的设计要素，主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先，我们展示了 Kullback-Leibler 散度作为能量函数的独特性质，即由它引导的梯度流与目标分布的标准化常数无关。其次，我们从不变性的角度研究了度量的选择，引入了一种放松的仿射不变性，构建了各种仿射不变的 Wasserstein 和 Stein 梯度流。最后，基于高斯近似的梯度流方法被提出，并与参数变分推断衍生的梯度方法建立了联系，理论和数值上研究了它们的收敛性。

Oct, 2023

本文提出了一种基于漸进时间稳定性的梯度优化框架，从而加速收敛速度并提供了理论分析及在一些数值例子中的验证。

Dec, 2021

利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

May, 2018