有限维与无限维希尔伯特空间中凸函数的梯度流的定性差异

Oct, 2023

有限维与无限维希尔伯特空间中凸函数的梯度流的定性差异

A qualitative difference between gradient flows of convex functions in finite- and infinite-dimensional Hilbert spaces

Jonathan W. Siegel, Stephan Wojtowytsch

TL;DR对于凸目标函数，研究了梯度流、加速梯度下降和随机梯度下降优化。我们证明了梯度流收敛缓慢（如果函数没有最小值），其超出能量在时间上是可积的，对于希尔伯特空间而言，这是最优的；在有限维空间中，存在凸函数的梯度流曲线，其减小速度比任何单调递减且在无穷远处可积的给定函数更慢。在相关设置中，类似的结果也适用于离散时间梯度下降、具有乘积噪声的随机梯度下降和重球 ODE 问题。

Abstract

We consider gradient flow/gradient descent and heavy ball/accelerated gradient descent optimization for convex objective functions. In the gradient flow case, we prove the following: 1. If $f$ does not have a minimizer, the convergence $f(x_t)\to \inf f$ can be arbitrarily slow. 2. If

gradient flow convex optimization accelerated gradient descent energy decay law stochastic gradient descent

发现论文，激发创造

凸规划中的 Hessian Riemannian 梯度流

通过带约束的极小化问题，研究以 Legendre 型的凸函数诱导的 Hessian 黎曼度量的梯度流。通过一系列引理得到了 Hessian 黎曼结构与变分不等式具有特定的积分性质的凸集的积分值，给出了 Bregman 类型距离的新动机。接着，引入了一般演变问题，并给出了微分包含的修正。在拟凸条件下，证明了一般存在和全局收敛性，对于凸最小化问题，有一些有趣的细节。讨论了一些这些梯度流的显式例子。鉴定了双轨迹，并考虑了带有正性和等式约束的凸程序的双重收敛的充分条件。建立了一些收敛速率结果。

Nov, 2018

使用最优传输理论分析过参数化模型上梯度下降的全局收敛性

利用粒子混合模型及连续时间梯度下降对机器学习与信号处理中的测量值进行凸函数最小化，特别是在使用单个隐藏层的神经网络进行训练时，可通过 Wasserstein 梯度流达到全局最小值。

May, 2018

对抗性流：对抗攻击的梯度流表征

我们将所谓的快速梯度符号方法及其迭代变体解释为微分包含的明确欧拉离散化方法，并证明了该离散化与相关梯度流的收敛性。我们考虑最大斜率的 p - 曲线的概念，证明了最大斜率的无穷曲线的存在，并通过微分包含导出了另一种特征描述。此外，我们还研究了势能的 Wasserstein 梯度流，证明了 Wasserstein 空间中的曲线可以由基本 Banach 空间中的曲线空间上的表示测度描述，并满足微分包含。我们将我们的理论应用于有限维场景，并展示了两个方面的结果：一方面，我们证明了一整类归一化梯度下降方法（尤其是符号梯度下降）在步长趋于零时，可以收敛到相应的流；另一方面，在分布设置中，我们证明了对抗训练目标的内部优化任务可以通过适当的最优输运空间上的最大斜率无穷曲线来描述。

Jun, 2024

神经梯度下降上升的均场分析：应用于功能条件矩方程

通过研究定义在无限维函数类上的极小极大优化问题，我们限定函数在过度参数化的两层神经网络类上，并研究（i）梯度下降 - 上升算法的收敛性和（ii）神经网络的表示学习。

Apr, 2024

关于平滑非凸有限和优化的下界

本文研究了平滑的非凸有限和优化的下界，并证明了在不同设置下找到 ε- 次优点和 ε- 近似稳定点的复杂度的严格下界，以及一些现有算法的最佳增量一阶预测器（IFO）复杂度。

Jan, 2019

凸优化的梯度方法：在较弱条件下获得更好的收敛速率

本文研究了梯度方法在凸优化中的收敛行为，证明了仅满足某些线段上的 Lipschitz 连续性和强凸性条件时，其复杂度可达到已知的最优值。同时，利用切线条件和投影的约束得到了更为松弛的条件，并应用于稀疏优化问题中构造更快的求解算法。

Mar, 2013

Hamiltonian Descent 方法

研究了一种基于动力学系统模拟的优化方法，该方法使用常量步长和一阶梯度信息，在更大的凸函数类中实现线性收敛性，包括那些在其极小值点处可能具有奇异或未有界的二阶导数，该方法的动力学梯度映射可以设计成以凸共轭的形式整合信息，允许在非平滑或非强凸的凸函数上实现线性收敛。

Sep, 2018

概率测度空间中的梯度流采样

本文研究了基于梯度流的采样方法的设计要素，主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先，我们展示了 Kullback-Leibler 散度作为能量函数的独特性质，即由它引导的梯度流与目标分布的标准化常数无关。其次，我们从不变性的角度研究了度量的选择，引入了一种放松的仿射不变性，构建了各种仿射不变的 Wasserstein 和 Stein 梯度流。最后，基于高斯近似的梯度流方法被提出，并与参数变分推断衍生的梯度方法建立了联系，理论和数值上研究了它们的收敛性。

Oct, 2023

连续回溯梯度下降算法收敛至最小值

证明在局部 Lipschitz 连续条件下的 $C^2$ 函数，给定一均值设定和一个阈值，存在一个光滑函数使得由其生成的下降序列不会收敛到虚假鞍点，并且其所有极限点都是函数的临界点。

Nov, 2019

广义平滑下的凸优化和非凸优化

本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

Jun, 2023