未知代理预测的 U 校准
在线多类别 U 校准问题:解决了 Kleinberg 等人提出的开放问题,证明理想的 U 校准误差是 Θ(√KT),并在损失函数的自然假设下加强了结果,包括利普希茨损失函数的 Θ(log T) U 校准误差,可分解损失函数的 O (log T) U 校准误差,具有低覆盖数的损失函数的 U 校准误差界等。
May, 2024
通过提供非校准但在一系列事件中无偏的预测,我们可以以较快的速度保证任意下游代理的降低交换后悔,同时保持我们的预测算法在不需要了解其效用函数的情况下为任何下游代理提供保证。
Feb, 2024
我们研究了一种顺序二进制预测设置,在其中预测者根据校准距离进行评估,该距离定义为预测值与事后完美校准的预测集之间的 L1 距离。我们证明了存在一种预测算法,可以在对手选择的 T 个二进制结果序列上期望实现 O (√T) 的校准距离,证明了校准距离可以通过较低的校准距离准确近似得出,并且可以通过在线学习和 Lipschitz 类的简单极小最大化方法实现 O (√T) 的较低的校准距离。我们还证明,即使在对手输出的独立随机比特序列时,并且具有提前停止(即,在剩余步骤中停止产生随机比特并输出相同的比特)的额外功能,无法避免出现 Ω(T^(1/3)) 的校准距离。有趣的是,如果没有提前停止,预测者可以实现一个较小的校准距离为 polylog (T)。
Feb, 2024
本文提出了一种新的评估指标,称为 “field-level calibration error”,用于衡量决策者关注的敏感输入领域中预测偏差,提出了一种名为神经校准的后续校准方法,使用验证集中的领域感知信息进行校准,并通过实验证明其对常见度量(如负对数似然、布里尔分数和 AUC)以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
May, 2019
机器学习关于预测,然而预测的有效性仅通过其评估得以体现。我们展示了校准和遗憾在评估预测中的概念等价性,并将评估问题构建为一个预测者、赌徒和自然之间的博弈。通过对赌徒和预测者施加直观限制,校准和遗憾自然而然地出现在这个框架中。此外,这个博弈将预测评估与结果的随机性联系起来。相对于预测而言,关于结果的随机性相当于关于结果的良好预测。我们将这两个方面,校准和遗憾,预测性和随机性,称为预测幸福的四个方面。
Jan, 2024
我们分析了各种校准度量对分数失真的敏感性,并引入了一种精确的度量标准,即本地校准分数,比较了校准方法,提倡使用局部回归,强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现,使用随机森林分类器和回归器预测信用违约,并在性能优化过程中同时测量校准度。
Feb, 2024
本文提出了一种新的针对回归任务中不确定性预测校准的方法和评估方法,并通过对合成问题和对 COCO 和 KITTI 数据集的物体检测边界框回归任务的实验验证,展示出基于直方图的聚类方法和基于缩放的校准方法的效果相当好。
May, 2019
在线校准预测二进制序列的基本问题的关键是应用推理,游戏理论和算法研究序列预测的校准性能,本研究通过引入新的游戏,加强和改进了现有算法,并提出了新的下界,从而改善以前的上界。
Jun, 2024
提出了一种方法,可以一致且渐近无偏地估计所有适当的校准误差和改进术语,并验证了所提估计器的所述特性,并建议后续校准方法的选择应由所关注的特定校准误差决定。
Dec, 2023