多重好处:在线监督学习中的稳健模型选择
研究在线情况下的不确定性量化问题,提出新的自适应后悔最小化算法用于在线共形预测,证明了该方法实现了近似最优的自适应后悔和适当的预测覆盖,同时在时间序列预测和图像分类等实际任务上对现有方法具有明显的优势。
Feb, 2023
研究了如何适应信息获取成本昂贵的在线学习问题中平稳变化环境的影响;提出了一种算法用于处理标签有效预测的问题,并扩展到标签有效的赌博反馈和揭示行动部分监测游戏等领域,显著提高了现有算法的性能。
Oct, 2019
本研究考虑在线学习算法在对抗环境中可以保证最坏情况下的后悔率,而在有利的随机环境下能够自适应地表现良好,并通过 Bernstein 条件量化随机环境的友好程度,证明了两种最近的算法自适应于随机环境的 Bernstein 参数,并证明这些算法在其各自的环境中都具有快速的期望和高概率率。
May, 2016
在线学习不仅仅是记住一切。通过使用自适应在线学习中近期开发的技术重新审视折扣遗憾的经典概念,我们提出了一个能够优雅地在新数据到达时遗忘历史的关键算法,改进了传统的非自适应算法,即使用固定学习率的梯度下降算法。具体而言,我们的理论保证不需要任何除了凸性之外的结构假设,该算法在次优超参数调整时可以证明是鲁棒的。通过在线符合预测,我们进一步展示了这些好处,它是一个具有集合成员决策的下游在线学习任务。
Feb, 2024
本文研究带有嵌套策略类别的赌场情境中的模型选择问题,旨在获得同时具备敌对和随机(“双赢”)的高概率遗憾保证。我们的方法要求每个基本学习器都带有可能或不可能持续的候选遗憾边界,同时,我们的元算法根据保持基本学习器的候选遗憾边界平衡的时间表播放每个基本学习器,直到它们被发现违反了保证。我们开发了谨慎的误规范测试,专门设计用于混合上述模型选择标准和利用环境(可能是良性)性质的能力。我们恢复了 CORRAL 算法在敌对环境下的模型选择保证,但在嵌套敌对线性赌徒的情况下,具有实现高概率遗憾边界的额外优势。更重要的是,我们的模型选择结果同时在间隙假设下在随机环境中保持。这些是第一个在(线性)赌徒情况下,在进行模型选择的情况下实现双赢(随机和敌对)保证的理论结果。
Jun, 2022
在线学习环境下的结构化预测问题的理论和算法性框架的研究。通过研究,我们发现我们的算法能够推广到监督学习环境中的优化算法,并且在数据非独立同分布的情况下也能达到相同的风险上界。此外,我们还考虑了一种特别设计用于非平稳数据分布(包括对抗性数据)的第二个算法,并以数据分布的变化为函数界限其随机遗憾。
Jun, 2024
我们考虑了一个在线两阶段随机优化问题,有关于 T 个周期的长期约束。我们通过对抗学习算法开发了在线两阶段问题的在线算法,同时,我们的算法的遗憾界可以降低到嵌入对抗式学习算法的遗憾界。基于这个框架,在不同的设置下,我们得到了新的结果。
Jan, 2024
在线学习方法在最小假设下产生顺序遗憾界限,并为统计学习提供期望风险界限;然而,最近的研究结果表明,在许多重要情况下,遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换,通过对定义遗憾的损失函数进行一般的二阶校正,获得了几个经典统计估计问题(如离散分布估计、线性回归、逻辑回归和条件密度估计)的几乎最优的高概率风险界限;我们的分析依赖于在线学习算法的不恰当性,因为它们不限制使用给定参考类别的预测器;我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖;最后,我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。
Aug, 2023