研究了在机器学习中，每个训练周期都是将梯度步骤视为朝着最小化每个批次的例子的平均损失的方向，其中噪声会导致过度拟合到损失值较大的噪声样本，提出了一种使用指数梯度更新的加权学习方法，适用于一系列噪声类型和应用场景的损失函数。

Apr, 2021

本文提供了一种新的方法，将在线预测算法在线镜像下降推广到具有通用更新的时间变化正则化器，并演示了该方法的强大功能。

Apr, 2013

本文介绍了一种新的泛化指数梯度（EG）更新方法，该方法由 Alpha-Beta 散度正则化函数得出。该方法称为 EGAB，属于正数据的乘法梯度算法类别，并通过三个超参数：α，β 和学习率 η 来控制迭代行为和性能，具有相当大的灵活性。为了在广义 EGAB 算法中强制非负权重向量的单位 l_1 范数约束，我们开发了两种略微不同的方法。一种方法利用了尺度不变损失函数，而另一种方法则依赖于梯度投影在可行域上。作为其适用性的例证，我们评估了使用基于梯度的方法解决在线投资组合选择问题（OLPS）的提出的更新。在这里，它们不仅提供了各种 OLPS 算法（包括标准指数梯度和多样的均值回归策略）的搜索方向的统一视角，还由于超参数选择的灵活性，促进了这些更新的平滑插值和扩展。仿真结果证实了这些泛化梯度更新的适应性可以有效提高某些投资组合的性能，尤其是在涉及交易成本的情况下。

Jun, 2024

本文提出了基于多层在线集成的在线凸优化方法，具有两种不同的适应性水平，并针对强凸、指数 - 凹和凸损失函数分别获得了收敛等效性和遗憾上界。

Jul, 2023

利用广义隐式 Follow-the-Regularized-Leader (FTRL) 框架，通过对比梯度更新，本文首次展示了重要性权重感知（Importance Weight Aware，IWA）更新在在线学习中具有更好的遗憾上界，进一步说明 IWA 更新可被视为近似的隐式 / 近端更新。

Jul, 2023

本文论述了在基于梯度的优化方法中，如何处理样本的重要性权重对优化过程的影响，提出了一种基于重要性权重的更新方法，并在在线主动学习中取得了显著的实验效果。

Nov, 2010

本论文研究了机器学习中隐含的偏差及其对应的正则化解，并且根据理论证明我们使用的指数型损失函数的正则化效果，可达到最大保边缘的方向，相应的其他损失函数可能会导致收敛于边缘较差的方向。

Jun, 2020

本文介绍了在线学习的基本概念和现代在线凸优化的视角，并针对凸丢失，在欧几里得和非欧几里得环境中介绍了一阶和二阶算法。同时，还特别关注了算法参数调优和在无界域上的学习，并介绍了对非凸损失的处理方法和信息缺失的决策问题中的多臂赌博机问题。

Dec, 2019

利用指数权重实现稀疏模式聚合原则的模型选择取决于稀疏估计，产生了几个流行框架下的稀疏估计值的稀疏 oracle 不等式，并在给定字典的情况下找到一个功能的稀疏表示。此外，本文介绍了一种高效实现稀疏模式聚合原则的方法，并在基本数值示例上优于最先进的程序。

Aug, 2011

提供了乐观镜面下降算法的几个应用：将其用于线下优化中的镜像近端算法、扩展到 Holder 平滑函数、并将结果应用于鞍点问题；将其用于有限零和矩阵博弈中，为两个强耦合玩家提供最小化最大值均衡的渐进速率 O ((log T)/T)；再考虑问题的部分信息版本并将结果应用于凸规划，展示了近似最大流问题的简单算法。

Nov, 2013