May, 2021

模型选择和模型估计中更好的相对预测准确度度量

PDF
TL;DR该论文探讨了预测准确性测量中最广泛使用的均方误差绝对百分比（MAPE）存在的偏差，并提出了使用相对精度度量时的优越性，特别是在存在异方差性的数据中。该方法可避免 MAPE 的偏见，并可用于模型选择和参数拟合。
发现论文，激发创造
  • 回归模型中的平均绝对百分比误差

    本文研究了使用平均绝对百分比误差（MAPE）作为回归模型质量度量的后果。我们证明了最佳 MAPE 模型的存在，并展示了基于 MAPE 的经验风险最小化的普适一致性。我们还表明，在 MAPE 下找到最佳模型等价于进行加权平均绝对误差（MAE）回归，并将此加权策略应用于核回归。作者还展示了 MAPE 核回归在模拟数据上的行为。

    May, 2016

  • 评估生存模型的一种有效有意义的方法

    本文探讨了一些方法来评估生存数据集的 MAE，并介绍了一个生成逼真半合成生存数据集来帮助评估性能的新方法。我们的发现表明，我们提出的伪观察值方法可以准确地根据其性能排名模型，并且通常与真实的 MAE 接近 - 特别是优于几种替代方法。

    Jun, 2023

  • 评估软件项目估算中的预测系统

    提出一个新的框架来进行预测系统的评估，并检验了现有的统计指标的有效性，呈现出可靠的实验结论。

    Jan, 2021

  • 基于深度神经网络的向量到向量回归问题的平均绝对误差

    本文探究均方误差作为深度神经网络回归模型的损失函数的性质，提出了均方误差的新特性使其成为更适合于 DNN 的回归损失函数，并阐述了 MAE 作为拉普拉斯分布错误的模型的优越性以及实现 MAE 比 MSE 更好地拟合深度神经网络回归的性能优势。

    Aug, 2020

  • 超越 RMSE 和 MAE：引入 EAUC 揭示二元回归模型中的隐藏偏见和不公平

    本研究介绍了对双元回归模型的偏差感知评估以避免在关键现实应用中潜在的不公平和风险，证明了使用 Eccentricity-Area Under the Curve 作为补充指标可以量化被称为偏心偏差的现象。

    Jan, 2024

  • 多类预测中性能度量的统一视角

    本文研究了一种针对多类问题的分类器性能度量 Confusion Entropy 与传统度量 Matthews Correlation Coefficient 的多分类推广之间的关系，并通过理论和计算证据支持了这一结果。

    Aug, 2010

  • 如何验证机器学习回归任务的平均校准性？

    根据最新机器学习不确定性量化文献上的数据集集成，本文展示了标定误差 (CE) 极其敏感于不确定性分布的特点和异常值不确定性的存在，因此不适合用于标定测试，相比之下，ZMS 统计量在这个背景下提供了最可靠的方法，并且探讨了条件标定验证的启示。

    Feb, 2024

  • 高维逻辑回归现代极大似然理论

    本研究证明在逻辑回归模型中，当样本量和自变量个数的比例变大时，MLE 的偏差和方差均远大于经典预测所得，常用的 LRT 也未能满足卡方分布，因此现有的软件包所得出的推论是不可靠的。

    Mar, 2018

  • 百分比误差最小化指数分解机在零售销售预测中的应用

    提出一种新的销售预测方法，使用指数分解机（EFM）模型，旨在解决具有长期引入但短产品生命周期的新产品的销售预测问题。

    Sep, 2020

  • 噪声鲁棒性学习的 IMAE: 平均绝对误差不能平等地对待样本，梯度的大小方差很重要

    本文探究了基于经验损失函数中内置的例子加权对抗不正常训练数据的鲁棒性深度学习，重点研究了与对数相关的梯度幅度以及未进行彻底研究的角度。研究发现，均方误差并没有平等地处理例子，梯度幅度的方差很重要，提出了一种称为改进均方误差（IMAE）的解决方案，证明了其在图像分类方面具有出色的效果。

    Mar, 2019