- 基于原始 - 对偶辅助罚函数的耦合约束双层优化方法
我们的论文研究了具有耦合约束的双层优化问题，并开发了一种名为 BLOCC 的（完全）一阶算法，实现对这一具有挑战性但较少被探索的场景的解决。我们为所提算法建立了严格的收敛理论，并通过使用塞维利亚城市的真实数据，对 SVM 中的超参数选择和交 - 加速梯度算法与自适应子空间搜索用于快速实例优化
设计和分析基于梯度的算法，适用于机器学习中的优化问题，包括线性回归等，并改进了现有的复杂度下界。
- 通过渐进范数缩放指数级快速实现边际最大化
通过研究线性可分数据分类中梯度算法的边界最大化偏差，提出一种名为渐进缩放梯度下降 (PRGD) 的新算法，在指数速率下最大化边界，相比于现有的多项式速率算法展现出明显区别，并验证了该理论发现在合成和实际数据上的有效性，同时在线性不可分数据集 - 在黎曼流形上的游戏中，无关曲率的最终迭代收敛
该研究通过研究 Riemannian 梯度下降算法，证明了无论流形的曲率如何，只要保持测地强单调性，通过使用曲率不明感的步长，可以实现曲率无关和线性的最后一次迭代收敛率。
- ICML通过对偶扩展核 PCA：稀疏性，鲁棒性和快速算法
本文通过 DC 函数的对偶化重新审视核主成分分析（KPCA），从而将 KPCA 自然地扩展到多个目标函数，并导致避免 Gram 矩阵的昂贵 SVD 的高效梯度下降算法。特别地，我们考虑可以写成 Moreau 套外壳的目标函数，展示了如何在同 - BiSLS/SPS: 稳定双层优化自动调整步长
研究了使用自适应步长方法（随机线性搜索和随机 Polyak 步长）来计算上下级学习率的 BO 算法，并发现这些方法可以在不需要精细调节的情况下找到较大的学习率，比起需要精细调节的 SGD 或 Adam BO 算法快速收敛。
- ICML关于过度参数的双层优化问题中的隐性偏差
探讨了基于梯度的算法对二层次优化的隐含偏差，阐明了冷启动和热启动的两种标准方法，并阐述了这些和其他算法选择（如超梯度逼近）对收敛解决方案或长期行为的影响。此外，还表明了热启动 BLO 获得的内部解可以编码关于外部目标的大量信息，即使外部参数 - 通过不确定性驱动的扰动提高泛化能力
本文讨论了梯度下降算法中的简单性偏差问题，并提出一种基于不确定性驱动的扰动方式来减小这种偏差。我们发现该方法能够提高模型的边际及泛化性能，同时在多个数据集上表现出有竞争力的鲁棒性和泛化性的平衡。
- 随机性有助于驾驭崎岖的地形：在相位恢复问题中比较基于梯度下降的算法
本文探讨了基于梯度的算法，如梯度下降、随机梯度下降、其持续变体和 Langevin 算法如何浏览非凸损失景观及其在有限样本复杂度下能否达到最佳泛化误差问题。我们以高维相位恢复问题的损失景观为典型例子，证明了随机梯度下降算法可以在控制参数区域 - 硬件作为策略：使用深度强化学习进行机械和计算协同优化
本研究探讨了在统一强化学习框架中学习机器人硬件和控制参数的问题，提出了将机器人身体建模为 “硬件策略” 的方法，并通过自动可微的计算图优化硬件策略与计算策略；最后通过设计两个实例并将学习到的参数用于物理建模，证明了该方法的有效性。
- 非渐近性和准确的学习非线性动力系统
研究稳定非线性系统动力学学习问题，使用基于梯度的算法从单个有限轨迹的样本中学习系统动态，特别地，针对 entry-wise 非线性激活函数列出保证，通过数值实验验证了理论公式的正确性。
- 随机优化中的记忆作用
研究使用随机微分方程来研究梯度下降算法中记忆的作用，提出了一种离散时间的算法，实现了从短期到长期的记忆范围，并在凸随机设置中比传统动量法具有更好的稳定性和收敛性。
- 训练超参数化深度神经网络的改进分析
本文提供了一种改进的分析方法来探究（随机）梯度下降训练深度神经网络的全局收敛，该方法比之前的研究工作以更加温和的过度参数化条件确定了问题相关参数的大小，包括更紧密的梯度下限和更清晰的算法轨迹路径描述。
- 减少方差的随机复合优化的序列估计
本文提出了一种渐进协同优化梯度算法的统一视角，通过推广 Nesterov 引入的估计序列概念，覆盖了随机梯度下降法，SAGA 和 SVRG 等方法，并提出了具有同样保证的新的算法，并推导了使这些算法抗击随机噪声的通用策略，最终证明了该视角有 - 在零和游戏中发现局部纳什均衡（仅限局部纳什均衡）
本文提出了一种名为 local symplectic surgery 的算法，用于在二人零和博弈中寻找局部纳什均衡，并在两个数值案例中验证其有效性。
- 具备预测和转换成本的在线优化：快速算法和基本极限
本文研究了具有有限预测窗口和附加决策切换成本的在线优化问题。提出了两种基于梯度的在线算法：RHGD 和 RHAG。该文章报告了这些算法的动态遗憾的上限，并且发现我们的基于梯度的 RHAG 算法是一种接近最优的在线算法。
- NIPS超参数优化和学习到学习之间的桥梁
本文提出了一种嵌套优化问题的解决方案，通过同时考虑内外目标优化动态相关性，实现了基于梯度的超参数优化和元学习的统一，并在此基础上提出了可应用于类似学习方式的梯度算法。同时，文章也探讨了元学习的设计模式，并在少量样本学习方面展示出了一些鼓舞人 - 带函数逼近的收敛树备份和 Retrace 方法
该论文通过分析 extsc {Tree Backup} 和 extsc {Retrace} 算法在线性函数逼近下的不稳定性，提出了一种基于二次凸凹鞍点公式的稳定高效梯度下降算法，并证明了其收敛性和有限样本上界，同时还提供了对其他算法收敛 - 基于梯度的非凸优化的催化剂加速
该论文介绍了一种通用的方案，使用最初设计用于最小化凸函数的梯度下降算法来解决非凸优化问题，该方案允许我们将这些方法用于弱凸性目标，这涵盖了机器学习和信号处理中通常出现的大类非凸函数。该方案无需假定目标函数具有凸性，而是通过自适应于未知的弱凸 - 基于梯度的深度学习失败
研究了深度学习中的梯度下降算法在面对四种简单问题时出现的失败或困难，提供了实验及理论的证据和可能的解决方案。