本文介绍了一种适应性的算法，它基于聚合一定范围内的学习速率的潜在函数，旨在在困难程度不同的数据上确定性能更好的连续性决策制定策略。

Feb, 2015

本篇研究提出了一种新的算法，称为 Constrained Upper Quantile Bound (CUQB)，用于解决输入为昂贵黑盒函数的组合函数（混合模型）的高效有约束全局优化问题，并表明 CUQB 在约束和无约束情况下都显著优于传统贝叶斯优化，且具有更好的理论保证。

May, 2023

本文提出了一种更高效的准牛顿方法，它将对称秩 - 1 更新纳入增量框架中，从而得到了不依赖条件数的局部超线性收敛速率。此外，我们通过在 Hessian 近似上应用块更新来提升方法，以实现更快的局部收敛速率。数值实验表明，所提出的方法明显优于基准方法。

Feb, 2024

本文提出了一个统一的框架，能够证明广泛使用的迭代一阶优化算法的指数收敛和次指数收敛速率，并展示了该框架对梯度法、近端算法及其加速变体的实用性，同时开发了连续时间对应物，能够分析梯度流和 Nesterov 加速法的连续时间极限。

May, 2017

本文中，我们介绍了一种同时二元分位数回归（SBQR）的技术，可以独立于损失函数构建分位表示，对于检测越界样本和校准模型等问题具有优越性。

Apr, 2023

在这篇论文中，我们证明了一种基于随机梯度算法的随机 SQP 方法在原始迭代、拉格朗日乘子和稳定性测量方面具有几乎肯定的收敛性，通过使用算法运行期间计算的拉格朗日乘子的运行平均值来消除最新随机梯度估计的误差。我们还通过数值实验验证了理论保证的有效性。

Aug, 2023

研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。

Apr, 2019

本篇论文提出了一种名为 SQuant 的实时数据无需模型压缩框架，采用三对角线子项目组合构成新颖的无数据最优化目标解算法，同时设计了一个有效的算法来进一步减少目标求解的计算复杂度。实验结果表明，SQuant 不需要微调和合成数据集，可以将数据无需量化过程加速到次秒级，并且在 4-bit 量化下，精度比现有数据无需压缩方法提高了 30% 以上

Feb, 2022

引入了一种剪裁策略，使用梯度范数的分位数作为剪裁阈值，为平滑目标（凸或非凸）提供鲁棒且高效的优化算法，容忍重尾样本和数据中的异常值，数学分析说明了其收敛性质以及对初始估计误差的高概率界限，并通过实验证实了其高效性和鲁棒性。

Sep, 2023

本篇研究探讨将多个目标转化为单一目标的方法，在集合约束均值 - 方差投资组合优化问题上，迭代填充帕累托前沿中最大空间的方法可以显著提高性能。

Oct, 2022