Jun, 2022

基于统计距离度量的机器学习预测可靠性和鲁棒性评估 ——StaDRe 和 StaDRo

PDF
TL;DR本研究探讨了基于 Empirical Cumulative Distribution Function（ECDF）的距离度量方法，以测量时间序列数据中的 ML - 预测方法的可靠性和鲁棒性估计，提出了 SDD-based 可靠性估计（StaDRe）和 SDD-based 鲁棒性估计（StaDRo）措施，并可提供数据集 SDD 与 ML 模型的关键绩效指标之间的联系。
machine learningreliability estimationsafemltime series datastatistical-distance dissimilarity
发现论文，激发创造
  • SafeML：通过统计差异度量对机器学习分类器进行安全监控

    本文提出了基于 ECDF 距离度量的主动监测方法，用于监测 ML 系统的行为和操作环境，应用于数据分布漂移检测，研究表明该方法可用于检测 ML 组件的应用环境是否符合安全性要求。

    May, 2020

  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023

  • 保持距离：机器学习监控中的采样和距离阈值确定

    本研究提出一种基于统计测试的距离度量方式，以实现对机器学习 (ML) 组件运行情况的监控，从而确保其可靠性和安全性。本研究同时提出一种实用的解决方案，并在交通标志识别和 CARLA 汽车模拟器等实例中进行了演示。

    Jul, 2022

  • 范围合规性不确定性评估

    该研究论文提出了 SafeML 这一模型无关的方法，用于监控在自动驾驶等环境中运行的机器学习模型的安全性和可靠性，通过引入基于经验特征函数 (ECF) 的新距离度量方法，消除了二元决策的限制和数据分布假设的依赖，并提高了计算速度。

    Dec, 2023

  • 距离在改善协变量偏移下的性能估计中起作用

    考虑到协变量转移下测试样本与预期训练分布的距离，可以显著提高性能估计，通过引入 “距离检查” 来避免依赖于不可信任的模型输出以进行准确度估计。

    Aug, 2023

  • 分布鲁棒的安全样本筛选

    本研究提出了一种名为分布鲁棒安全样本筛选（DRSSS）的机器学习方法，旨在识别不必要的训练样本，即使训练样本的分布在未来发生变化。通过将分布鲁棒（DR）范式与安全样本筛选（SSS）有效地结合起来，我们实现了此目标。我们通过扩展现有的 SSS 技术来适应权重不确定性，使得 DRSSS 方法能够可靠地在指定范围内的任何未来分布下识别不必要的样本。我们为 DRSSS 方法提供了理论保证，并通过对合成和真实世界数据集的数值实验验证了其性能。

    Jun, 2024

  • 一种形式上健壮的时间序列距离度量

    本文提出了一种新的距离度量方法来解决时间序列数据在分类中被任意数据污染的鲁棒性问题，并在 k 近邻时间序列分类中得到了有竞争力的分类精度。

    Aug, 2020

  • 高维度、低样本量数据完美聚类

    本文针对高维低样本量情况下聚类算法性能下降的问题，介绍了一种基于云图的 MADD 差异度量方法，并证明了其在高维数据聚类上的有效性；根据理论和实验结果，比较了多种算法及其聚类效果评估方法，发现在使用 MADD 代替欧氏距离时，已有算法的表现得到提升。同时，作者提出了一种基于罚函数 Dunn 指数的新的聚类数目估计方法，在固定样本数量、维数增加的情况下使方法相对于样本数更稳定。最后，研究运用了多组真实和模拟数据集来证明 MADD 方法对高维数据聚类分析中的重要性。

    Dec, 2016

  • 评估科学生成模型的统计距离实用指南

    本研究旨在理解和评估用于科学中生成模型的统计距离，包括 Sliced-Wasserstein、Classifier Two-Sample Tests、Maximum Mean Discrepancy 等方法。通过评估决策模型和生成医学图像模型，展示了这些不同距离对相似数据的不同结果。

    Mar, 2024

  • 稳健的拓扑推断：距离度量和核距离

    文章采用持久同调方法总结距离函数下水平集的拓扑特征，提出了抗噪声和异常值的距离测度方法 DTM 和核函数距离，并对 DTM 进行了浓度界定和参数选择。

    Dec, 2014