本文提出一种基于混沌状态下的能量守恒哈密顿动力学的优化框架，并通过理论和数值分析证明其关键性质。该优化器依靠无摩擦、节能的算法流程来穿越高纬度相空间，并能够在非凸损失函数中快速到达局部最小值点。通过应用于机器学习和偏微分方程求解等任务中，该优化算法比传统的 GD+momentum 更具优势。

Jan, 2022

使用能量耗散网络在深度学习中提出了迭代计算下降方向以实现图像重构、特别是对噪声图像进行去模糊，超分辨率和医学图像中来实现。经实验证明，它可以控制网络在推断时遵循数据形成模型，并且它在单幅图像超分辨率和计算机成像重构上取得了良好效果，并进一步扩展到凸可行性问题。

Apr, 2019

通过对第一阶锥下降（CD）求解器进行直观性、理论性和算法实现方面的改进研究，发现 CD 可以通过对偶问题的几何推导得到直观的解释，从而为新算法设计打开了大门，其中包括动量变量 MOCO。进一步深入研究了 CD 和 MOCO 的对偶行为，揭示了解析合理的停止准则和设计预处理器以加快对偶收敛的潜力。最后，为了扩展半定规划（SDP）的规模，特别是对于低秩解，开发了一个内存高效的 MOCO 变体，并得到了数值验证。

Aug, 2023

该研究提出了一种基于人口的进化随机梯度下降（ESGD）框架来优化深度神经网络，该框架将 SGD 和基于梯度的进化算法作为互补算法，以提高种群的平均适应度。

Oct, 2018

本文提出了 ECC 框架，它使用双线性回归函数模拟 DNN 的能耗，将 DNN 压缩到给定的能量限制下，并通过结合 ADMM 框架和梯度下降算法的方法优化约束优化问题，从而实现在相同或更低的能量预算下实现更高的精度。

Dec, 2018

使用随机梯度下降（SGD）算法对神经网络进行培训，研究表明 SGD 在优化高维度非凸成本函数方面比梯度下降（GD）算法更为有效。

Sep, 2023

梯度下降和上升（GDA）法用于最小 - 最大优化问题时，通常会产生振荡行为，容易导致不稳定性，为解决这一问题，本文提出了一种通过引入耗散项来抑制振荡的方法，称为 Dissipative GDA (DGDA)，DGDA 方法可以看作是在一个状态增广和规则化的鞍点函数上执行标准 GDA，该方法在双线性和强凸 - 强凹设置中具有线性收敛性，并通过与其他方法（如 GDA、Extra-Gradient，以及 Optimistic GDA）的比较来评估其性能，实验结果表明 DGDA 超过了这些方法，实现了更好的收敛速度，通过两个数值例子展示了 DGDA 方法在求解鞍点问题中的有效性。

Mar, 2024

提出了一种新的加速一阶方法 (AXGD)，采用了预测 - 校正方法，解决了凸 - 凹鞍点问题，通过隐式欧拉离散化构建了加速连续时间动态模型，并通过原始 - 对偶视角进行了分析，对于其他类别的目标也能够达到最佳收敛速度。

Jun, 2017

研究发现，针对机器学习中许多问题，大多数采用随机梯度下降算法，并能够在实践中实现最佳结果，但通常无法达到全局最小值，其实际效果至今仍是一个谜，本文研究了参数推断和统计物理中的自由能最小化之间的对应关系，证明了宽而浅的极小值在系统欠采样时是最优的，同时还显示该算法的随机性具有非平凡的相关结构，会使其有偏地偏向于宽的极小值。

Mar, 2018

本文研究交叉熵方法在非凸优化中的应用，并提出了一种可微分的变体。在应用上，我们在合成能源预测任务和非凸连续控制中展示了其效果。特别是，我们展示了如何将最优的行动序列嵌入到一个低维空间中进行控制，从而通过策略优化来对基于 CEM 的控制器进行微调。

Sep, 2019