本文介绍了一种名为 Null Space Gradient Descent 的算法，该算法通过高效地在梯度空间中进行探索，加快了在线学习排序（OL2R）算法的学习过程，并改进了交错测试的敏感性。 在公共基准测试中，与现有 OL2R 算法进行了广泛的实验比较，证明了该算法的有效性，尤其是其快速学习收敛和良好的排名质量。

May, 2018

在线渐减梯度法是解决涉及训练示例对的损失函数机器学习问题中至关重要的方法之一。本研究提出了一种扩展到核在线成对学习的有限内存在线渐减梯度算法，同时改善亚线性遗憾。通过构建在线渐减梯度与格雷特之间的清晰关系，并使用存储有限数量的最新分层样本构建在线渐减梯度，我们的算法在真实数据集上的实验证明其优于核化和线性的在线成对学习算法。

Oct, 2023

本文提出一种基于随机零阶梯度与方差降低的高斯平滑的新型方法，用于优化非凸函数，特别是深度神经网络的黑盒攻击问题，并在实验中证明了其比现有的导数 - free 优化技术表现更优。

May, 2018

Pairwise Differentiable Gradient Descent (PDGD) is an efficient and unbiased Online Learning to Rank approach that allows for effective optimization of non-linear models based on user interactions and preferences, providing a better user experience than previously possible.

Sep, 2018

我们提出并分析了一种算法，用于解决涉及可能是无限维输入和输出空间的矢量值回归问题。该算法是降低秩回归的随机化改进，通过带有秩约束的正则化经验风险最小化来优化学习低秩矢量值函数（即运算符）与采样数据之间的关系。我们提出了基于高斯草图技术的原始和对偶优化目标，产生了高效准确的随机降秩回归（R4）估计器。对于我们的每个 R4 算法，我们证明了在适当调整超参数的情况下，随机草图的随机性的期望下，所得到的正则化经验风险将任意接近最优值。数值实验证明了我们界限的紧凑性，并展示了两种不同情景的优势：（i）使用合成和大规模神经科学数据集解决矢量值回归问题，以及（ii）回归非线性随机动力系统的 Koopman 运算符。

Dec, 2023

本文提出了一种在线低秩张量恢复的概括性框架，包括线性和广义线性模型，特别地，在线张量补全和在线二进制张量学习的应用中，通过在线黎曼梯度下降算法实现了线性收敛并在所有应用程序中恢复了低秩分量，还在在线张量回归方面进行了悔恨分析，通过数值结果验证了理论结论。

Jun, 2023

本研究探讨了在线偏好聚合的自然模型，使用广义 Min-Sum-Set-Cover 问题作为形式化模型，将排序降维到双重随机矩阵空间，并应用在线梯度下降技术以在多项式时间内实现 GMSSC 低遗憾学习，以提高学习效率。

Nov, 2020

使用分布稳健优化（DRO）问题中的谱风险不确定性集和 $f$- 散度惩罚，我们构建了一个包括常见风险敏感学习目标的模型。我们提出了 Prospect 算法，只需要调整一个学习率超参数，证明其对于平滑正则化损失具有线性收敛性。与先前的算法相比，前者要求调整多个超参数或由于有偏梯度估计或不充分的正则化而可能无法收敛。在实证上，我们展示了在跨表格、视觉和语言领域的分布偏移和公平性基准上，Prospect 算法的收敛速度可以比随机梯度和随机鞍点方法快 2-3 倍。

Oct, 2023

本文提出了一种基于隐式梯度传输的在线随机优化方法，通过修正过去梯度的陈旧性，提高了更新稳定性和收敛速度，在多种结构和基准问题下均取得了最先进的结果，并且在约束条件下获得了最优的渐进收敛率。

Jun, 2019

提出一种基于梯度的方法，利用导向高维不确定性量化问题中重要方向，构建函数的岭近似，对于向量值函数来说。该方法最小化近似误差的上界，通过子空间 Poincare 不等式获得。在参数空间配备高斯概率测度的情况下，提供了彻底的数学分析，结果表明，使用函数的梯度可以有效地降低维度。还展示了如何选择函数定域的规范对函数的低维近似有影响。该方法推广了与标量值函数相关联的主动子空间的概念。

Jan, 2018