Dec, 2020

贝叶斯在线学习中检测和适应不规则分布转移

PDF
TL;DR本文提出了一种模型无关的贝叶斯在线学习方法，通过整合变点检测、切换动态系统和贝叶斯在线学习的思想来同时推断这些分布漂移并根据检测到的变化适应模型，能够在监督和无监督学习环境中使用，适用于概念漂移或协变漂移的环境，并在贝叶斯在线学习方法方面取得了改进。
online learningdistribution shiftsbayesian inferencechange point detectionadaptation
发现论文，激发创造
  • 分布偏移下的自适应符合推断

    本文提出了一种自适应的线上学习方法 - 自适应符合推断方法，该方法结合了预测集和符合推断的思想，能够在任何黑箱模型中实现长时间内预期的覆盖概率，从而解决了数据变化扰动的问题。

    Jun, 2021

  • 贝叶斯在线变点检测

    本文提出了一种基于贝叶斯方法的在线检测突变点的算法，该算法针对在突变点前后的模型参数独立的情况，采用简单的信息传递算法计算了当前 “run” 的长度的概率分布，并在三个不同的真实数据集上进行了演示。

    Oct, 2007

  • 用于无监督分布偏移检测的自组织聚类系统

    本文提出了一种持续学习框架，用于监测和检测数据分布的变化，通过自组织聚类和潜空间的统计方面探索这个问题，方法可以应用于有监督和无监督的环境中，并且通过比较高斯信号构建数据分布变化的评估，具有快速和稳健的特点，通过与其他无监督技术的比较实验证明了方法的潜力。

    Apr, 2024

  • 非平稳环境下分类问题的自适应迁移学习视角

    我们研究了一个具有非平稳标签转移的半监督分类问题，通过观察一组有标签的数据集和一系列无标签的协变量向量，我们的目标是预测每个协变量向量的相应类别标签，而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界，我们探索了一种基于统计方法的自适应迁移学习的替代方法，并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。

    May, 2024

  • 在线标签偏移：最优动态遗憾遇见实用算法

    本文提出了一种基于在线回归算法的解决方法，旨在解决标签分布在线变化时的监督式和非监督式学习问题，实现了动态固定遗憾，取得了比较好的实验结果。

    May, 2023

  • 具有模型选择的时空贝叶斯在线变点检测

    本文介绍了对贝叶斯在线变点检测的推广，包括在线模型选择和非平稳时空过程。我们提出了空间结构化 Vector Autoregressions (VARs)，用于建模变点 (CPs) 之间的过程，并给出了此类模型的近似误差上限。所得的算法在线进行预测、模型选择和 CP 检测。其时间复杂度是线性的，空间复杂度是恒定的，因此比最接近的竞争者快两个数量级。此外，它在多元数据方面优于现有技术。

    May, 2018

  • T-SaS：面向流数据的移动感知动态适应

    在没有任何先兆的情况下，本文旨在解决连续数据建模中突发分布转变的问题。具体而言，我们设计了一个名为 T-SaS 的贝叶斯框架，使用离散分布建模变量捕捉数据的突变。然后，我们设计了一个模型，通过学习判断在完整网络中应该激活哪些神经元来实现与该离散变量的动态网络选择进行自适应。通过一组稀疏网络的重叠，采用动态遮罩策略来支持不同分布之间的互相转移。大量实验证明我们的方法在准确检测分布转变边界以获取不同分布的片段并有效适应下游预测或分类任务方面优越。

    Sep, 2023

  • 贝叶斯学习动态推断

    本文研究了动态推断问题下基于贝叶斯学习的最优推断规则，包括离线和在线学习，并讨论了其在机器学习中的应用。

    Dec, 2022

  • 在线具有有限样本保证的线性动力系统变点检测

    在线线性动力系统中的变点检测方法，解决了时间序列属性突变检测的问题，包括未知动力学、时间相关性和多个变点时的检测准确度和延迟的理论保证。

    Nov, 2023

  • 基底混合对可解释连续学习中的分布转移问题

    本文探讨了在数据分布和任务不断变化的情况下，通过一种半监督在线学习和自适应模型选择的方法来解决多任务连续学习问题。实验结果表明，在多个数据领域上，该方法的预测效果优于现有的方法，同时也证明了任务的潜在表示会随着任务边界的变化而改变。

    Jan, 2022