Jan, 2024

预测成功的四个方面：校准性、预测能力、随机性和遗憾

PDF
TL;DR机器学习关于预测，然而预测的有效性仅通过其评估得以体现。我们展示了校准和遗憾在评估预测中的概念等价性，并将评估问题构建为一个预测者、赌徒和自然之间的博弈。通过对赌徒和预测者施加直观限制，校准和遗憾自然而然地出现在这个框架中。此外，这个博弈将预测评估与结果的随机性联系起来。相对于预测而言，关于结果的随机性相当于关于结果的良好预测。我们将这两个方面，校准和遗憾，预测性和随机性，称为预测幸福的四个方面。
发现论文，激发创造
  • 随机预测个体校准

    通过使用随机化的置信区间实现对每个样本测量的分配，并提高数据子组的校准度和预测效果。

    Jun, 2020

  • 未知代理预测的 U 校准

    本文考虑了基于二元事件的预测评估问题，并明确表明单一评分规则不能保证对所有可能的代理人低后悔，但已校准的预测保证所有代理人罕见子线性后悔，并提出了一种新的度量标准 U - 校准来评估预测，该标准是当受到任何有界评分规则的评估时，预测序列的最大后悔。

    Jun, 2023

  • 机器学习中的不确定性估计

    本文研究基于统计学习理论的机器学习方法中的不确定性问题，并深入探讨了在回归分析中评估模型系数和输出特征值预测中的不确定度。另外，针对机器学习中的模型复杂度和严重非线性等问题提出解决方案，并指出决策制定时需要对机器学习模型和预测进行不确定性评估、风险评估的需求，并提供使用非参数技术解决不确定性问题的方法及最新的超级计算机设备供进行高强度计算。

    Jun, 2022

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 公正和校准

    本论文探讨了在不同人群中最小化误差差异和维护校准概率估计之间的紧张关系，并表明校准只与单一误差约束兼容。

    Sep, 2017

  • 带或不带有效性保证的大规模概率预测器

    本文从理论和实践出发，研究了一种将机器学习算法转化成概率预测器的方法，并保证其有效性和计算效率；理论上完全校准的概率预测器产生不精确的概率，但合并后的精确概率预测器相较于现有方法表现更准确。

    Nov, 2015

  • 重新评估机器学习模型的校准比较和改进方法

    机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。

    Jun, 2024

  • 基于回归的机器学习算法的非分布风险评估

    机器学习算法在实际应用中发展日益复杂，特别是在医学和工程等高风险应用中使用机器学习技术时，预测模型的失败概率至关重要。我们提出了风险评估任务，并侧重于回归算法和计算模型预测的真实标签在一个定义好的区间内的概率。我们通过使用符合预测方法来解决风险评估问题，该方法提供了一定概率内包含真实标签的预测区间。通过该覆盖性质，我们证明了所提方法的近似失败概率是保守的，不低于 ML 算法的真实失败概率。我们进行了大量实验证明了所提方法在存在和不存在协变量转移的问题中的准确性，并重点研究了不同建模方案、数据集大小和符合预测方法学。

    Oct, 2023

  • 非凸在线学习中的本地遗憾

    本文讨论了基于梯度的在线学习算法来预测非凸模型序列的结果，提出了一种比标准 regret 更可解释的新定义来评估预测问题的性能并给出了该定义的边界分析。

    Nov, 2018

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022