通过强适应在线学习改进在线置信预测
在线学习不仅仅是记住一切。通过使用自适应在线学习中近期开发的技术重新审视折扣遗憾的经典概念，我们提出了一个能够优雅地在新数据到达时遗忘历史的关键算法，改进了传统的非自适应算法，即使用固定学习率的梯度下降算法。具体而言，我们的理论保证不需要任何除了凸性之外的结构假设，该算法在次优超参数调整时可以证明是鲁棒的。通过在线符合预测，我们进一步展示了这些好处，它是一个具有集合成员决策的下游在线学习任务。
Feb, 2024
通过修改模型输出一组标签而不是单个标签，符合预测已成为一种可行的不确定性量化策略。在在线学习设置中，我们考虑了半强盗反馈，其中只有在真实标签包含在预测集中时，我们才能观察到真实标签。我们提出了一种针对这种情况的新颖符合预测算法，并证明它相对于最优符合预测器具有亚线性遗憾。我们在检索任务和图像分类任务上评估了我们的算法，并且证明它在经验上获得了良好的性能。
May, 2024
我们介绍了一种在线可信预测的方法，该方法使用衰减的步长。与之前的方法相同，我们的方法对于任意序列具有回顾性保证。然而，与之前的方法不同的是，当存在时，我们可以同时估计一个总体分位数。我们的理论和实验证明了显著改进的实际属性：特别是在分布稳定时，覆盖率接近所期望的水平的每个时间点，而不仅仅是观察序列的平均值。
Feb, 2024
本文提出了一种自适应的线上学习方法 - 自适应符合推断方法，该方法结合了预测集和符合推断的思想，能够在任何黑箱模型中实现长时间内预期的覆盖概率，从而解决了数据变化扰动的问题。
Jun, 2021
在线学习方法在最小假设下产生顺序遗憾界限，并为统计学习提供期望风险界限；然而，最近的研究结果表明，在许多重要情况下，遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换，通过对定义遗憾的损失函数进行一般的二阶校正，获得了几个经典统计估计问题（如离散分布估计、线性回归、逻辑回归和条件密度估计）的几乎最优的高概率风险界限；我们的分析依赖于在线学习算法的不恰当性，因为它们不限制使用给定参考类别的预测器；我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖；最后，我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。
Aug, 2023
研究了如何适应信息获取成本昂贵的在线学习问题中平稳变化环境的影响；提出了一种算法用于处理标签有效预测的问题，并扩展到标签有效的赌博反馈和揭示行动部分监测游戏等领域，显著提高了现有算法的性能。
Oct, 2019
在线分类研究中，研究者利用对未来示例的预测来改进在线学习算法，以减小期望遗憾并提高分类准确性。该研究还证明了当未来示例可准确预测时，在线学习可以与转导式在线学习相媲美，从而对近期基于预测和分布假设的在线算法的研究提供了补充。
May, 2024
本文提出了一种广义的拟合的预测集来解决多可学习参数，通过考虑找到最有效的预测集的约束经验风险最小化问题，从而实现有效的经验覆盖。同时，本文还开发了一种基于梯度的算法来优化这个 ERM 问题以近似有效的覆盖和最优效率。
Feb, 2022
本文分析并评估了一种采用逐坐标调整学习率的在线梯度下降算法，该算法可被视为带有对角先决条件的批量梯度下降的在线版本。实验结果表明，该算法在大规模机器学习问题中与最先进的算法相竞争，并带来更强的遗憾边界。
Feb, 2010