平稳概念漂移下基于非平稳批量数据的模型适应和无监督学习
我们研究了一个具有非平稳标签转移的半监督分类问题,通过观察一组有标签的数据集和一系列无标签的协变量向量,我们的目标是预测每个协变量向量的相应类别标签,而无需观察除初始有标签数据集之外的真实标签。通过建立一个在任何给定测试时间内自适应地适应未知动态边缘标签概率的高概率遗憾上界,我们探索了一种基于统计方法的自适应迁移学习的替代方法,并给出了与在线学习方法相匹配的平均动态遗憾界限的界限。
May, 2024
提出了一种自适应方法,在非稳态环境下提供正式质量保证的弱监督学习,通过使用提供每个数据点的正确分类的独立嘈杂信号的弱监督学习源来推断一系列数据的未知标签,并针对准确性可能随时间漂移的非稳态情况进行了重点研究,该算法不需要先验假设并且基于输入进行自适应调整。该算法保证了在过去观察窗口内,最小化估计误差方差和漂移误差的平衡下,弱监督源的当前准确性。实验表明,与固定窗口大小策略不同,该方法可动态选择窗口大小,以保持良好性能。
Jun, 2023
我们提出了一种新的城市时间序列预测模型,通过考虑数据中的周期性,并使用元动态网络根据漂移进行即时调整,以解决概念漂移问题。实验结果表明,我们的设计明显优于现有方法,并可以通过减小它们对分布变化的敏感性来很好地推广到现有的预测模型。
Sep, 2023
概念漂移对机器学习模型产生不准确的影响,并且在流式数据背景下,多数研究假设连续的数据点之间是独立的。本研究发现时序依赖性对采样过程有很大影响,因此需要对现有定义进行重大修改,特别是平稳性的概念不适用于这种设置,而需要探讨替代方案。通过数值实验证明了这些替代形式的概念能够描述可观察的学习行为。
Dec, 2023
在实时标签获取困难的场景中,本文提出了一种适用于有限标记数据的流式环境的最优策略,引入了一种自适应的无监督回归技术。该方法利用一组稀疏的初始标签,并引入创新的漂移检测机制,以响应数据中不断变化的模式实现动态模型调整。通过将 ADWIN 算法与基于 RMSE 的误差广义化相结合,我们提高了适应性。ADWIN 实现了实时漂移检测,而 RMSE 提供了对模型预测准确性的稳健度量。该组合使得我们的多变量方法能够有效地应对流式数据的挑战,在保持高水平的预测准确性的同时不断适应变化的模式。最后,我们对各种公共数据集评估了我们的多变量方法的性能,并将其与非适应性基线进行比较。通过综合评估,我们证明了我们的自适应回归技术在实时标签获取具有挑战性的任务中的出色效果。结果突显了该方法超越传统方法的能力,并凸显了在标签稀缺和数据模式不断变化的情境中的潜力。
Dec, 2023
在线更新时间序列预测模型针对概念漂移通过基于流数据调整预测模型来解决挑战。我们提出了一种新颖的方法 D3A,首先检测概念漂移,然后在检测到漂移后积极调整当前模型以适应漂移的概念,从而快速适应。通过在现有的训练样例中引入高斯噪声的数据增强策略,我们提出了一种最大程度利用历史数据进行模型适应的方法。我们的实证研究跨越六个数据集,证明了 D3A 在提高模型适应能力方面的有效性。与简单的时间卷积网络(TCN)基准相比,D3A 将均方误差(MSE)平均降低了 43.9%。对于最先进的模型,MSE 降低了 33.3%。
Mar, 2024
人工智能的实际应用越来越经常需要处理实际数据的流式特性,考虑到时间因素,这些数据可能会受到周期性和更或多或少混乱的退化现象的影响,从而直接导致概念漂移。本研究提出了一种无监督的并行激活漂移检测器,利用未经训练的神经网络的输出,介绍了其关键设计要素、有关处理属性的直觉以及一系列计算机实验,证明了该方法与现有最先进方法的竞争力。
Apr, 2024
本文提出一种多尺度算法框架,该框架结合了 FedAvg 和 FedOMD 算法在接近静态场景下的理论保证,同时采用非静态检测和自适应技术以改善 FL 泛化性能,并给出了多尺度算法框架,在具有广义凸损失函数的情况下,每 T 个回合导致动态后悔的上限为 Tilde {O}(min {sqrt {LT},Delta^{1/3} T^{2/3} + sqrt {T}})
Nov, 2022