- 具有非光滑外目标函数的凸双层优化问题
本文提出了一种一阶 Bi-Sub-Gradient 方法，它被广泛应用于凸性双层优化问题中，具有易于实现、内外两个目标函数均能取得亚线性收敛速度等特点，并且证明了所生成的序列与双层问题最优解的距离趋于零。
- 一些针对强凸优化的次梯度方法的原始 - 对偶理论
本文针对强凸但潜在不光滑非 Lipschitz 的优化问题，提出了新的等价的对偶描述，使得 $O (1/T)$ 收敛保证适用于几乎任何步长选择和一系列非 Lipschitz 病态问题，并提供了优化证书。
- Hamiltonian Monte Carlo 方法采样简介
介绍了哈密尔顿蒙特卡罗方法 (HMC)—— 基于哈密尔顿动力学的一种采样算法，用于从 Gibbs 密度中采样。重点在于 “理想化” 情况，其中能够精确计算连续轨迹，表明理想化 HMC 能保持 π 并在 f 为强凸和光滑时收敛。
- 带量化预处理器的通信高效分布式优化
研究了通信高效算法用于强凸平滑函数最小化问题，设计了预处理梯度下降算法和牛顿方法的通信高效分布式变体，并且实验证明这些方法具有快速收敛和降低的通信复杂度。
- ICML通过迭代平均获得可调整的正则化
本文提出一种对于任意强凸和光滑的优化问题，通过随机梯度下降的迭代进行均值处理可以获得与正则化参数可调的正则化方案，该方案同样适用于加速和预调节优化方法，并在神经网络等更广泛的优化目标上得到实证验证。
- 随机鞍点问题的泛化界
本文研究了随机鞍点问题的经验鞍点解的泛化界，证明了在具有 Lipschitz 连续和强凸强凹的目标函数的情况下，可以使用统一稳定性论证来建立一个 O（1/n）的泛化界，并在没有强凸性和没有有界域的情况下提供了泛化界。在马尔可夫决策过程中的批 - 走向黎曼加速梯度方法
在弯曲流形环境下，提出了 Riemann 版 Nesterov 加速梯度算法 (RAGD)，并证明了在极小值附近 (半径取决于流形的截面曲率和条件数)，RAGD 算法具有加速收敛性，相比 Liu 等人 (2017) 的算法少了对非线性方程的 - 凸优化中优化梯度方法的自适应重启
本文以自适应重启策略为基础，探讨了启发式的优化梯度方法加速收敛的方法，并且证明了自适应重启可以加速优化梯度方法的收敛速度，特别是在非光滑组合凸函数的情况下。
- 随机凸优化的经验风险最小化：$O (1/n)$ 和 $O (1/n^2)$ 类型的风险界
利用平滑和强凸条件改善风险上界，建立了新的凸优化式 的有限样本错误分析方法。
- NIPS基于方差减少的随机优化算法在具有有限和结构的无限数据集上的应用
本文提出了针对复合目标强凸的情况下，带有方差约束的随机梯度下降法，其收敛速度优于传统的随机梯度下降法，同时常数因子也更小，只与输入数据的方差有关。
- 带有线性和加速亚线性收敛速率的正则化凸优化的近端拟牛顿方法
本文针对复合优化问题中一般且高效的不精确近端拟牛顿算法，在强凸目标函数下分析了其精确和不精确执行的收敛性质，并建立了一个简单的停止标准来改善其实用性。同时，对基于 FISTA 的近端拟牛顿算法进行加速，并与传统算法进行比较和分析，结果表明加 - 在谱多面体上更快的无投影凸优化
提出了一种适用于相对熵锥内凸优化问题的条件梯度方法的修改算法，其每次迭代的复杂度与标准条件梯度方法的复杂度基本相同，对于最小化的强凸性和平滑性函数，该方法的期望逼近误差在使用 t 次迭代之后为 O (β/t)，在所有已知的条件梯度变体中，该 - 为什么随机重洗超越随机梯度下降
本文研究了随机重洗方法的收敛速率，表明在特定条件下随机重洗方法通过迭代平均和逐渐缩小的步长可以以概率一的方式在优化目标值的次优性上以 $\Theta (1/k^{2s})$ 的速率收敛，从而改善了 SGD 的 $\Omega (1/k)$ - 关于平滑和强凸优化问题的下限和上限
我们开发了一个新的框架来研究光滑和强凸优化算法，特别是针对二次函数，我们能够将优化算法作为线性运算的递归应用程序来检查，这揭示了一种强大的联系，即一类优化算法与多项式的分析理论之间的联系，从而导出了新的下界和上界，同时我们还以多项式相关的最 - 凸优化的 Heavy-ball 算法全局收敛性
本论文研究了凸优化中的 Heavy-ball 方法，当目标函数具有 Lipschitz 连续梯度时，证明了迭代的 Cesaro 平均值以 $O (1/k)$ 的速度收敛于最优解；当目标函数还是强凸时，证明了 Heavy-ball 迭代线性收 - 差分隐私经验风险最小化：高效算法和严格误差界
本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。
- 高维随机优化与稀疏统计恢复：一种最优算法
研究了基于 Nesterov 的对偶平均算法的随机优化算法，在预期损失是强凸的且最优解是（近似）稀疏的问题上进行优化，证明了在局部 Lipschitz 损失下，在 T 轮迭代后，我们的解决方案的误差最多为 O（（slogp）/T），并确立了 - 一种带有指数收敛速率的随机梯度方法，适用于有限训练集
本文提出了一个新的随机梯度方法用于优化一组平滑函数的和，其中和是强凸的。与标准随机梯度方法在这个问题上的次线性收敛相比，该方法通过记忆之前的梯度值来实现线性收敛率。在机器学习的背景下，数值实验表明，该方法可以明显优于标准算法，不仅在优化训练 - 一种随机强凸优化的最优算法
本研究考虑具有强凸（但不一定平滑）目标函数的随机凸优化问题，我们提出一种仅使用梯度更新的算法，具有最优的收敛速度。