学习漂移离散分布的改进算法
我们开发和分析了一种普适技术,可以在未知分布漂移的情况下进行学习。给定一个来自漂移分布的最后 $T$ 步的独立观测序列,我们的算法在时刻 $T$ 对当前分布进行从容学习。与先前的工作不同,我们的技术不需要关于漂移幅度的先验知识,而是根据样本数据进行算法调整。我们的算法学习了一类函数,其误差几乎与预先了解漂移幅度的学习算法相同。此外,由于我们的算法适应数据,它可以保证比依赖漂移松限制的算法具有更好的学习误差。
May, 2023
利用差异的理念,我们对批处理情景下学习漂移分布的问题进行了新的分析,并证明了基于假设集和分布的差异的 Rademacher 复杂度的学习界限,包括漂移 PAC 情景和跟踪情景。 我们提出了一种新算法,利用这些学习保证,我们展示了该算法可以被表述为一个简单的 QP。
May, 2012
提出了一种自适应方法,在非稳态环境下提供正式质量保证的弱监督学习,通过使用提供每个数据点的正确分类的独立嘈杂信号的弱监督学习源来推断一系列数据的未知标签,并针对准确性可能随时间漂移的非稳态情况进行了重点研究,该算法不需要先验假设并且基于输入进行自适应调整。该算法保证了在过去观察窗口内,最小化估计误差方差和漂移误差的平衡下,弱监督源的当前准确性。实验表明,与固定窗口大小策略不同,该方法可动态选择窗口大小,以保持良好性能。
Jun, 2023
本文研究了在存在漂移的目标概念的情况下的学习问题,提出了误差率的上界,并给出了一个能够适应目标概念不断漂移的算法的一般结果,其中包括了该设置的积极学习变体,并提供了得到错误率上界所需的点标签查询数量的界限。
May, 2015
本文提出了一种选择自适应窗口并利用其中的数据构建预测集的策略,通过优化估计的偏差 - 方差平衡来选择窗口,并为该方法提供了明确的覆盖保证,展示了其对潜在时间漂移的适应性。通过对合成和实际数据进行数值实验,验证了其有效性。
Jun, 2024
研究了在流数据场景下,概念漂移对先前学习的模型造成的影响和需要重新训练的需求,提出了一种基于漂移检测和更广泛的稳态 / 响应态过程的自适应学习算法,并在实验中验证了该算法优于先前基于漂移检测的方法,并可以应用于多种监督学习问题。
Mar, 2020
使用间接和序列样本学习离散随机变量 X 的概率分布 P_X 的问题已经在本文中得到研究,其中提出了一种基于几个条件限制的迭代算法,成功地在不同情况下实现了更好的效果比基线方法更好。
Aug, 2018
本文讨论了机器学习中的持续学习问题,通过引入上下文变量来解决数据分布的变动所引起的问题,并提出了处理上下文变动的机制以及通过数据分布漂移框架提供持续学习领域中常用术语的更精确定义。
Apr, 2021
本文提出了一种自适应的线上学习方法 - 自适应符合推断方法,该方法结合了预测集和符合推断的思想,能够在任何黑箱模型中实现长时间内预期的覆盖概率,从而解决了数据变化扰动的问题。
Jun, 2021