Jun, 2024

自动机器学习背景下的预测性能置信区间估计

PDF
TL;DR在 AutoML 环境下，比较评估了 9 种最先进的方法和变体在置信区间（CI）估计方面的表现，以包含百分比、CI 的紧致性和执行时间为指标，结果支持 BBC-F 和 BBC 在所有度量指标上优于其他方法。
supervised machine learningout-of-sample predictive performanceconfidence intervalautomlci estimation
发现论文，激发创造
  • 学习模型性能的预测区间

    使用自动化方法来估算模型预测的不确定性，使得预测间隔和性能预测等领域在真实世界中变得更加实用。

    Dec, 2020

  • 模型错误下的条件独立性检验

    在现代统计学和机器学习中，条件独立性检验是基础性且具有挑战性的。许多现代的条件独立性检验方法依赖于强大的监督学习方法，在学习回归函数或贝叶斯预测器时作为一种中间步骤。然而，当监督学习方法由于模型错误估计导致失败时，这些方法的行为了解还很有限。在更广义上，即使使用通用逼近器（如深度神经网络），模型错误估计仍然可能产生。因此，我们研究了基于回归的条件独立性测试在模型错误估计下的性能。具体地，我们提出了三个基于回归的测试的测试误差的新近似值或上界，这些误差依赖于模型错误估计。此外，我们引入了一种新的基于回归的条件独立性测试方法，即 Rao-Blackwellized 预测器测试（RBPT），该方法对模型错误估计具有鲁棒性。最后，我们使用人工数据和真实数据进行实验证明了我们的理论和方法的有用性。

    Jul, 2023

  • Confidence-Nets: 面向小数据集回归神经网络更好预测区间的一步

    本文介绍了一种组合 DNN、XGBoost 和差异性计算技术的集成方法，用于估计预测的不确定性、提高准确性并提供预期变化的区间，其计算简单，适用于小数据集且性能提升显著，且模型的预测区间可平均包括实际值的 71％和 78％。

    Oct, 2022

  • 利用辅助区间预测器通过不确定性匹配构建校准的深度模型

    为了解决深度学习模型不确定性的问题，开发了一种新的方法来构建校准的估计器，通过预测模型和区间估计模型交互，显著提高了回归、时间序列预测和对象定位等任务的效果和校准能力。

    Sep, 2019

  • 3D 医学图像分割性能估计的置信区间

    本研究以医学图像分割为背景，通过实验证明了参数置信区间与自助法估计值在不同测试集大小和性能度量传播范围下的合理性，同时揭示了相较于分类任务，医学图像分割所需的测试样本数量常常较低。

    Jul, 2023

  • 提高置信度估计的可靠性

    本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

    Oct, 2022

  • 评估软件项目估算中的预测系统

    提出一个新的框架来进行预测系统的评估，并检验了现有的统计指标的有效性，呈现出可靠的实验结论。

    Jan, 2021

  • 测量不确定性下分类器的公平性使用 Bernstein Bounds

    使用 Bernstein 界限来表示关于偏差估计的不确定性，从而帮助防止分类器被认为是有偏见或无偏见，当没有足够的证据来做出任何一个主张。

    Apr, 2020

  • 公平性不确定性量化：您有多确定该模型是公平的？

    本文提出了一种在线 multiplier bootstrap 方法，用于构建置信区间，以评估通过在线 SGD 类型算法训练具有 Disparate Impact 和 Disparate Mistreatment 意识的线性二元分类器的公平性，并在合成和实际数据集上说明了其结果。

    Apr, 2023

  • 使用校准回归的深度学习准确不确定性

    本文探讨贝叶斯方法在不确定性问题上的推理方法，提出一种简单有效的校准程序，可以保证在足够的数据下，任何回归算法都能够产生准确的校准不确定性估计，并应用于贝叶斯线性回归、前向和递归神经网络中，能够稳定输出准确的区间预测，并提高时间序列预测和基于模型的强化学习性能。

    Jul, 2018