- 将高阶动力学和道路响应整合到有约束的基于 ILQR 的自主车辆轨迹规划中
这篇论文研究了自动乘客车辆的在路轨迹规划，包括采样方法和优化算法，特别关注车辆的安全和舒适性以及车道边界的遵循。
- 通过机器学习支持的多物理仿真优化改进
这篇论文介绍了一种用于训练、自我优化和自我组织的代理模型方法论框架，用于逼近和加速多物理模拟，通过与两种优化算法和一种综合评估策略的结合训练和优化管道的性能评估，实验证明了代理模型能够准确逼近基础模拟，并使用可解释的 AI 技术分析代理模型 - 关于一种广义的 KMM 类型优化方法的密度比估计的一些注记
引入新的优化算法，通过构建适当的损失函数扩展了 KMM 方法，以更一般的情况涉及相对于训练数据和测试数据子集的密度比率估计。
- 随机梯度下降在玻璃能量地形中恢复高维信号的效果优于梯度下降
使用随机梯度下降（SGD）算法对神经网络进行培训，研究表明 SGD 在优化高维度非凸成本函数方面比梯度下降（GD）算法更为有效。
- 从最优控制理论推导坐标下降算法
最近，有人提出可以从最优控制理论中统一不同的优化算法。我们通过展示如何从这一新兴原理中导出坐标下降算法来进一步证明此命题。特别地，我们展示了基本的坐标下降算法可以通过使用最大原理和一组最大函数作为 “控制” Lyapunov 函数来导出。因 - 优化的十个新基准
本研究介绍了十个具有不同特性（包括噪声、不连续性、参数估计和未知路径）的新基准，用于测试新优化算法及其变种以评估其性能。
- 自然灵感算法参数调优方法综述
大多数优化算法都具有与算法相关的参数，其参数值的设置可以在很大程度上影响所考虑算法的行为。因此，应进行适当的参数调优，以确保用于优化的算法能够表现良好，并且能够足够强大地解决不同类型的优化问题。本文回顾了一些参数调优的主要方法，然后强调了关 - 16 位神经网络训练中减缓反向传播数值不稳定性的高效方法
在这项研究中，我们深入研究了机器学习模型在 16 位计算中出现的数值不稳定性，特别是在使用 RMSProp 和 Adam 等常见优化算法时。我们确定单一超参数 epsilon 是导致这种数值不稳定性的主要原因。通过对 16 位计算中这些优化 - 隐含的重要性权重感知更新
利用广义隐式 Follow-the-Regularized-Leader (FTRL) 框架，通过对比梯度更新，本文首次展示了重要性权重感知（Importance Weight Aware，IWA）更新在在线学习中具有更好的遗憾上界，进一步 - PatternGPT: 大型语言模型文本生成的基于模式驱动的框架
本文提出了一种基于模式提取和选择的框架，PatternGPT，通过生成大型语言模型的抽取能力和联邦学习的思想来生成丰富的模式，并通过定义标准和优化算法来选择高品质的模式，并优化生成结果和用户体验的质量，从而提高大型语言模型的文本生成能力，有 - 应用于深度学习的非凸随机 Bregman 近端梯度方法
研究一系列随机 Bregman 近端梯度法（SBPG）方法，用于训练具有非 Lipschitz 梯度的非凸目标函数，及应用于神经网络训练中具有多项式内核函数的深度神经网络的优化算法。证明了 SBPG 及其动量版本（MSBPG）在非凸优化问题 - 分布式鲁棒优化下的随机重新加权梯度下降
本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示 - 利用预测加速离散凸函数最小化：M - 凸情况
本篇研究提出一套机器预测加速 M - 凸函数极小化的框架，相较于之前的研究有所补充和扩展，并在重要的叫做层状凸极小化的子类中表现优越，可以提高时间复杂度并有可能超越下限结果。
- DynamoRep：基于轨迹的人口动态算法用于黑盒优化问题分类
本文提出一种基于简单的描述性统计方法的特征提取方法，用于应用于机器学习模型分析优化算法。通过评估所生成的特征在黑盒优化基准测试套件中分类问题类的任务中的性能，我们得出了 DynamoRep 特征足以识别优化算法运行的问题类别的结论，实验结果 - Riemannian 无投影在线学习
本文介绍了在曲面上进行在线几何凸优化时如何通过投影自由算法，在有分离预言机或线性优化预言机的情况下实现亚线性后悔保证。
- 通用核学习的高效凸优化算法
本文提出了一种基于最小最大优化问题的 SVD-QCQP 原始 - 对偶算法来优化半可分离核函数，极大地降低了计算复杂度，并且在分类和回归中提供了有效的实现。当应用于基准数据时，该算法表现出了显著的精度改进潜力，而计算时间与神经网络和随机森林 - 通过坐标变换改进梯度方法：应用于量子机器学习
本文介绍了一种基于坐标变换的策略，以加速和改善机器学习优化算法的性能，有效减缓贫瘠高原和局部极小值对算法性能的影响，并在量子机器学习算法的基础上进行了验证和 benchmark，获得了显著的性能提升。
- 基于经验的高昂代价优化进化算法
本文主要探讨了通过利用在相关问题中获得的经验，采用基于经验的代理辅助进化算法（SAEA）框架来增强昂贵优化问题的优化效率，实验结果表明从相关任务获得的经验对目标问题的评估预算的节约是有益的。
- 解析训练二层 ReLU 网络
本文研究两层神经网络的 ReLU 激活函数和平方损失函数的优化方法，利用一种交替迭代算法寻找损失函数的关键点，实验结果显示该算法能够比随机梯度下降和 Adam 优化器更快、更准确地求解深度值，并且该方法没有调参困扰。
- 一个面向按需乘车服务运营的多功能仿真平台
本论文提出了一个新的多功能、开源的共享出行仿真平台，用于模拟各种代理在真实交通网络上的行为和移动，为用户提供训练和测试各种优化算法的几个可访问门户，特别是强化学习算法，包括按需匹配、闲置车辆重定位和动态定价等各种任务。该平台能够有效地测试理