May, 2023

一种适应未知分布漂移学习的算法

PDF
TL;DR我们开发和分析了一种普适技术，可以在未知分布漂移的情况下进行学习。给定一个来自漂移分布的最后 $T$ 步的独立观测序列，我们的算法在时刻 $T$ 对当前分布进行从容学习。与先前的工作不同，我们的技术不需要关于漂移幅度的先验知识，而是根据样本数据进行算法调整。我们的算法学习了一类函数，其误差几乎与预先了解漂移幅度的学习算法相同。此外，由于我们的算法适应数据，它可以保证比依赖漂移松限制的算法具有更好的学习误差。
发现论文，激发创造
  • 学习漂移离散分布的改进算法

    我们提出了一种适用于在分布漂移下学习离散分布的新的自适应算法。

    Mar, 2024

  • 漂移分布学习的新分析和算法

    利用差异的理念，我们对批处理情景下学习漂移分布的问题进行了新的分析，并证明了基于假设集和分布的差异的 Rademacher 复杂度的学习界限，包括漂移 PAC 情景和跟踪情景。 我们提出了一种新算法，利用这些学习保证，我们展示了该算法可以被表述为一个简单的 QP。

    May, 2012

  • 具有漂移数据的弱监督自适应方法

    提出了一种自适应方法，在非稳态环境下提供正式质量保证的弱监督学习，通过使用提供每个数据点的正确分类的独立嘈杂信号的弱监督学习源来推断一系列数据的未知标签，并针对准确性可能随时间漂移的非稳态情况进行了重点研究，该算法不需要先验假设并且基于输入进行自适应调整。该算法保证了在过去观察窗口内，最小化估计误差方差和漂移误差的平衡下，弱监督源的当前准确性。实验表明，与固定窗口大小策略不同，该方法可动态选择窗口大小，以保持良好性能。

    Jun, 2023

  • 未知时态漂移下的无分布预测推理

    本文提出了一种选择自适应窗口并利用其中的数据构建预测集的策略，通过优化估计的偏差 - 方差平衡来选择窗口，并为该方法提供了明确的覆盖保证，展示了其对潜在时间漂移的适应性。通过对合成和实际数据进行数值实验，验证了其有效性。

    Jun, 2024

  • 学习漂移目标概念

    本文研究了在存在漂移的目标概念的情况下的学习问题，提出了误差率的上界，并给出了一个能够适应目标概念不断漂移的算法的一般结果，其中包括了该设置的积极学习变体，并提供了得到错误率上界所需的点标签查询数量的界限。

    May, 2015

  • DriftSurf：基于概念漂移的风险竞争学习算法

    研究了在流数据场景下，概念漂移对先前学习的模型造成的影响和需要重新训练的需求，提出了一种基于漂移检测和更广泛的稳态 / 响应态过程的自适应学习算法，并在实验中验证了该算法优于先前基于漂移检测的方法，并可以应用于多种监督学习问题。

    Mar, 2020

  • 处理任意协变量偏移学习的容错算法

    研究在任意分布转移下的学习问题，重点关注 PQ 学习、TDS 学习两个框架以及谱异常移除技术对多项式回归及容忍可测试学习的影响。

    Jun, 2024

  • 平稳概念漂移下基于非平稳批量数据的模型适应和无监督学习

    本文提出了一种迭代式无监督自适应预测模型算法，用于解决由于数据来源非平稳性导致的渐进性概念漂移问题，并在合成数据和真实数据上做了大量数值评估。

    Feb, 2020

  • 分布偏移下的自适应符合推断

    本文提出了一种自适应的线上学习方法 - 自适应符合推断方法，该方法结合了预测集和符合推断的思想，能够在任何黑箱模型中实现长时间内预期的覆盖概率，从而解决了数据变化扰动的问题。

    Jun, 2021

  • 贝叶斯在线学习中检测和适应不规则分布转移

    本文提出了一种模型无关的贝叶斯在线学习方法，通过整合变点检测、切换动态系统和贝叶斯在线学习的思想来同时推断这些分布漂移并根据检测到的变化适应模型，能够在监督和无监督学习环境中使用，适用于概念漂移或协变漂移的环境，并在贝叶斯在线学习方法方面取得了改进。

    Dec, 2020