Feb, 2024

在线学习方法用于存活分析

PDF
TL;DR我们引入了一个在线数学框架，用于生存分析，允许对动态环境和被审查数据进行实时适应。通过优化性能高的二次在线凸优化算法 —— 在线牛顿阶段（ONS），我们能够估计事件时间分布。我们分析了 ONS 超参数的选择，该选择依赖于指数凹性质并对遗憾界限有重要影响。另外，我们提出了一种保证 ONS 对数随机遗憾的随机方法。最后，我们通过模拟实验来验证了这些论断。
发现论文，激发创造
  • 非平稳在线学习的高效方法

    优化非稳态动态损失和自适应损失的有效方法涉及非稳态在线学习的减少投影和梯度查询次数，在参数自由在线学习的基础上进行了非平凡的改进。

    Sep, 2023

  • 通过草图实现高效的二阶在线学习

    提出了 Sketched Online Newton（SON），这是一种在线二阶学习算法，具有较高的遗憾保证，且通过素描技巧在维度和素描大小线性运行时间。

    Feb, 2016

  • 在线自适应方法、普适性和加速

    本文针对凸无约束优化问题提出了一种新方法，通过一种自适应学习率规则和线性耦合两个序列的方式，利用重要权重和自适应在线学习算法的思想实现了对光滑目标、非光滑一般情况和随机优化的加速收敛。实证分析表明了本方法在上述场景中的适用性并证实了我们的理论发现。

    Sep, 2018

  • 通过强适应在线学习改进在线置信预测

    研究在线情况下的不确定性量化问题，提出新的自适应后悔最小化算法用于在线共形预测，证明了该方法实现了近似最优的自适应后悔和适当的预测覆盖，同时在时间序列预测和图像分类等实际任务上对现有方法具有明显的优势。

    Feb, 2023

  • 折扣自适应在线预测

    在线学习不仅仅是记住一切。通过使用自适应在线学习中近期开发的技术重新审视折扣遗憾的经典概念，我们提出了一个能够优雅地在新数据到达时遗忘历史的关键算法，改进了传统的非自适应算法，即使用固定学习率的梯度下降算法。具体而言，我们的理论保证不需要任何除了凸性之外的结构假设，该算法在次优超参数调整时可以证明是鲁棒的。通过在线符合预测，我们进一步展示了这些好处，它是一个具有集合成员决策的下游在线学习任务。

    Feb, 2024

  • 通过顺序预测器获得高概率风险边界

    在线学习方法在最小假设下产生顺序遗憾界限，并为统计学习提供期望风险界限；然而，最近的研究结果表明，在许多重要情况下，遗憾界限可能无法保证统计背景下紧致的高概率风险界限。本研究通过将通用在线学习算法应用于在线到批次转换，通过对定义遗憾的损失函数进行一般的二阶校正，获得了几个经典统计估计问题（如离散分布估计、线性回归、逻辑回归和条件密度估计）的几乎最优的高概率风险界限；我们的分析依赖于在线学习算法的不恰当性，因为它们不限制使用给定参考类别的预测器；我们的估计器的不恰当性使得在各种问题参数上显著改善了依赖；最后，我们讨论了我们的顺序算法与现有批处理算法之间的一些计算上的优势。

    Aug, 2023

  • 现代在线学习简介

    本文介绍了在线学习的基本概念和现代在线凸优化的视角，并针对凸丢失，在欧几里得和非欧几里得环境中介绍了一阶和二阶算法。同时，还特别关注了算法参数调优和在无界域上的学习，并介绍了对非凸损失的处理方法和信息缺失的决策问题中的多臂赌博机问题。

    Dec, 2019

  • 渐进变化的通用在线学习：多层在线集成方法

    本文提出了基于多层在线集成的在线凸优化方法，具有两种不同的适应性水平，并针对强凸、指数 - 凹和凸损失函数分别获得了收敛等效性和遗憾上界。

    Jul, 2023

  • 可分离随机逼近框架下的在线学习

    我们提出了一个基于分离随机逼近框架的在线学习算法，其中对于某些具有线性特性的模型参数，我们采用递归最小二乘（RLS）算法进行更新，然后根据更新后的线性参数，采用随机梯度法（SGD）更新非线性参数，该算法可以理解为一种随机逼近版块坐标梯度下降方法，已经在非凸情况下获得全局收敛性，数值实验表明，该方法提高了收敛速度并在与其他流行学习算法比较时产生更稳健的训练和测试性能，此外，我们的算法对学习速率不太敏感并且优于最近提出的 slimTrain 算法。

    May, 2023

  • 在线非参数回归

    基于顺序熵，确立了在线回归的最佳速率，发现最佳速率具有类似于独立同分布 / 统计学习情况的相变。此外，展示了一种享有建立的最佳速率的通用预测器和一种设计在线回归算法且计算高效的方法。

    Feb, 2014