电力基准在评估概念漂移适应性方面表现如何
本文提出了一种迭代式无监督自适应预测模型算法，用于解决由于数据来源非平稳性导致的渐进性概念漂移问题，并在合成数据和真实数据上做了大量数值评估。
Feb, 2020
本研究的主要目标是了解数据流挑战（例如概念漂移）对自动化机器学习（AutoML）方法的性能产生的影响，并评估 6 种概念漂移适应策略在不同 AutoML 方法上的有效性。该研究在现实世界和合成数据流上进行了实证评估，提出方法来开发更复杂和更健壮的 AutoML 技术，包括贝叶斯优化、遗传编程和随机搜索自动堆叠等方法。
Jun, 2020
通过对七种常用的概念漂移检测方法进行实验研究，我们的结果表明，根据能源效率和准确性的权衡考虑，概念漂移检测器可以分为三种类型：a) 以检测准确性为代价的能源效率检测器（KSWIN），b) 在能源消耗较低时具有较好准确性的平衡检测器（HDDM_W、ADWIN），c) 能源消耗极少但实际上不可用因为准确性太差的检测器（HDDM_A、PageHinkley、DDM、EDDM）。通过为这种能源效率策略提供充分的证据，我们的发现为 ML 从业者选择最适合其 ML-enabled 系统的概念漂移检测方法提供支持。
Apr, 2024
该研究通过比较基于错误率和数据分布的概念漂移检测器的性能，并评估它们在识别漂移时的可靠性，为实践者提供了指导建议和警报系统的适用性分析。
Nov, 2022
在线学习中，适应漂移数据流是一个重要挑战。本文提出了一种基于局部性和尺度的概念漂移分类方法，并构建了一套 2760 个基准问题，用于评估不同难度级别的漂移检测器。通过对 9 种前沿漂移检测器的综合评估，揭示了它们的优势和弱点，并为未来的研究提供了策略。研究结果还表明漂移的局部性如何影响分类器性能，并提出了不同漂移类别的恢复时间最小化策略。最后，总结了对未来概念漂移研究的经验教训和建议。
Nov, 2023
通过使用不确定性估计方法作为错误率的替代物来检测漂移，本研究对七个真实世界数据集进行了全面实证评估，旨在减少对标签较少且昂贵的部署后数据的依赖。结果表明，尽管 SWAG 方法表现出更好的校准性，但不确定性估计方法的选择对于检测漂移的整体准确性没有明显影响，甚至最基本的方法也表现出竞争性能，这些发现提供了不确定性基础漂移检测在真实世界安全关键应用中的实际适用性。
Nov, 2023
通过引入一种新的能量模型视角，我们提出了一种新的测试时间适应方法（TEA），该方法可以增强模型对目标数据分布的感知能力，提高模型的泛化性能。对多项任务、基准和架构的广泛实验证明了 TEA 相对于现有方法的优越性能，深入分析表明 TEA 能够为模型提供对测试数据分布的全面认知，从而改善泛化和校准能力。
Nov, 2023
该研究提出了一个新的基准套件来评估 AI 系统中的概念漂移检测算法，其中考虑了计算性能和检测质量，并且集成在流式学习的框架中。该套件支持合成和真实数据流的评估，有助于科学界得到无监督漂移检测算法的基准表现。
Apr, 2023