Nov, 2023

数据流中漂移检测的不确定性估计技术的实证研究

PDF
TL;DR通过使用不确定性估计方法作为错误率的替代物来检测漂移，本研究对七个真实世界数据集进行了全面实证评估，旨在减少对标签较少且昂贵的部署后数据的依赖。结果表明，尽管 SWAG 方法表现出更好的校准性，但不确定性估计方法的选择对于检测漂移的整体准确性没有明显影响，甚至最基本的方法也表现出竞争性能，这些发现提供了不确定性基础漂移检测在真实世界安全关键应用中的实际适用性。
发现论文，激发创造
  • 概念漂移检测器是可靠的警报系统吗？-- 一项比较研究

    该研究通过比较基于错误率和数据分布的概念漂移检测器的性能，并评估它们在识别漂移时的可靠性，为实践者提供了指导建议和警报系统的适用性分析。

    Nov, 2022

  • 评估数据集偏移下模型预测不确定性的可信度

    以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

    Jun, 2019

  • 论工业人工智能中概念漂移与不确定性的关系

    通过实验证明模型输出置信度与概念漂移存在关联性，并提倡在未来的比较研究中更加重视不确定性估计。

    Mar, 2023

  • 基于流式无标签数据的概念漂移可靠检测

    该论文提出了一种基于特征分类器的不依赖于数据分布或特定应用的无监督增量漂移检测算法，以实现在数据流中可靠地检测和适应概念漂移，并展示了在 6 个漂移诱导数据集和 4 个来自网络安全领域的附加数据集上的实验评估结果，表明该算法与无监督特征漂移检测器相比具有更少的误警，可以信任且适用性广泛。

    Mar, 2017

  • 一个基于漂移检测的在线、自适应和无监督回归框架，适用于标签稀缺环境

    在实时标签获取困难的场景中，本文提出了一种适用于有限标记数据的流式环境的最优策略，引入了一种自适应的无监督回归技术。该方法利用一组稀疏的初始标签，并引入创新的漂移检测机制，以响应数据中不断变化的模式实现动态模型调整。通过将 ADWIN 算法与基于 RMSE 的误差广义化相结合，我们提高了适应性。ADWIN 实现了实时漂移检测，而 RMSE 提供了对模型预测准确性的稳健度量。该组合使得我们的多变量方法能够有效地应对流式数据的挑战，在保持高水平的预测准确性的同时不断适应变化的模式。最后，我们对各种公共数据集评估了我们的多变量方法的性能，并将其与非适应性基线进行比较。通过综合评估，我们证明了我们的自适应回归技术在实时标签获取具有挑战性的任务中的出色效果。结果突显了该方法超越传统方法的能力，并凸显了在标签稀缺和数据模式不断变化的情境中的潜力。

    Dec, 2023

  • 具有漂移数据的弱监督自适应方法

    提出了一种自适应方法，在非稳态环境下提供正式质量保证的弱监督学习，通过使用提供每个数据点的正确分类的独立嘈杂信号的弱监督学习源来推断一系列数据的未知标签，并针对准确性可能随时间漂移的非稳态情况进行了重点研究，该算法不需要先验假设并且基于输入进行自适应调整。该算法保证了在过去观察窗口内，最小化估计误差方差和漂移误差的平衡下，弱监督源的当前准确性。实验表明，与固定窗口大小策略不同，该方法可动态选择窗口大小，以保持良好性能。

    Jun, 2023

  • 具有模型不确定性估计的安全强化学习

    使用 MC-Dropout 和 Bootstrapping 方法来提高安全驾驶机器人的模型稳定性，实现在未知数据情况下的碰撞回避。

    Oct, 2018

  • 基于误差对齐不确定性优化的可靠多模态轨迹预测

    通过提出基于误差对齐的不确定性优化方法和引入可训练的损失函数来估算深度神经网络的不确定性，以取得与模型误差相关性强的不确定性预测。该方法适用于连续结构化预测和回归任务，并在包括大规模车辆运动预测任务的多个数据集上进行评估，通过 Pearson 相关系数表明我们的方法提高了平均位移误差和不确定性与模型误差之间的相关性。

    Dec, 2022

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018

  • 标签不完美：通过标签不确定性提高概率目标检测

    本研究利用以前方法估计地面真实边框参量的不确定性来改进激光雷达概率目标检测器的检测准确性。实验结果表明，我们的方法在平均精度方面比基线模型和基于简单启发式方法的模型提高了高达 3.6%。

    Aug, 2020