研究序列预测的问题,提供工具来研究相关游戏的极小极大值。开发了一套序列复杂性理论,能够准确地为序列预测问题提供学习保证。
Jun, 2010
研究表明,稳定性是一种可以用来量化学习算法的稳定程度的一般概念,是推动在线学习和减少后悔的关键。本文引入了在线稳定性,这是与均匀留一稳定性相关的一种稳定性条件,足以实现在线可学习性,并且说明了流行类的在线学习算法的一些理论。在特定的二分类设置中,稳定性条件是充分必要的。
Aug, 2011
本文研究了基于在线学习的随机方法的泛化特性,提出了一种通用的解耦技术,可以提供基于 Rademacher 复杂度的泛化误差界限,并进一步分析了一类内存效率的在线学习算法。
May, 2013
本文通过对学习算法的收敛速度及其条件的研究,提出了一个统一的中心条件和随机可混合条件,这些条件可用于直接证明快速学习的速率,是实现统计学习中快速率的重要步骤。
Jul, 2015
本文提出了一种新型自适应算法,展示了其与优化和在线学习算法之间的界限,并构建了一类算法家族以达到该界限。
Mar, 2017
本文通过引入新的后悔分解和Bregman散度的泛化来对在线学习的两个算法进行分析,得出了较为简洁的结论,提出了对于复合目标的算法,并提供了一种细化的算法族。
Sep, 2017
本文介绍了在线学习的基本概念和现代在线凸优化的视角,并针对凸丢失,在欧几里得和非欧几里得环境中介绍了一阶和二阶算法。同时,还特别关注了算法参数调优和在无界域上的学习,并介绍了对非凸损失的处理方法和信息缺失的决策问题中的多臂赌博机问题。
Dec, 2019
研究了在无界设置下的在线凸优化,提出了无需参数和无需缩放的算法,并将其用于线性模型的在线预测。
Feb, 2020
本文提出了一种框架,以加速梯度基方法在在线学习中的收敛速度。新框架通过在线学习算法在每次迭代中学习缩放梯度,相比于以往基于最坏情况分析的研究,提供了强大的收敛保证,显著改善了光滑强凸优化中的收敛复杂度,具有潜在的广泛应用和影响。
Nov, 2024
本研究解决了梯度方法在在线学习中的收敛速度问题。提出了一种通过在线学习算法在每次迭代中学习缩放梯度的新框架,并为其收敛性提供了强保证。研究结果表明,该框架在平滑强凸优化中的复杂度为$O(\kappa^\star \log(1/\varepsilon))$,显著优于以往的结果,潜在影响可提高梯度方法的效率。