关于计算效率的多分类校准
本文提出了一种新的概念 —— 决策校准,指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下,作者设计了一种重新校准算法,其样本复杂度多项式时间,并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。
Jul, 2021
该研究提出了两种技术,一种是简化校准方法,将原问题转化为更简单的问题,并使用非参数重新校准方法进行解决,另一种是基于神经崩溃现象和大多数精确分类器可以被认为是 K 个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。
Oct, 2022
本文提出了一种新的评估指标,称为 “field-level calibration error”,用于衡量决策者关注的敏感输入领域中预测偏差,提出了一种名为神经校准的后续校准方法,使用验证集中的领域感知信息进行校准,并通过实验证明其对常见度量(如负对数似然、布里尔分数和 AUC)以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。
May, 2019
提出了一种类别自适应标签平滑方法(CALS),在训练过程中允许学习班级特定的乘数,通过在大规模的自适应训练中引入几种修改以量身定制它,以校准深度神经网络,综合评估和多重比较展示了所提出方法的优越性
Nov, 2022
通过近期关于机器学习和决策的文献,校准已成为二进制预测模型输出的理想和广泛研究的统计特性,本文通过性质测试的角度启动了校准的算法研究,设计了一种基于近似线性规划的算法,解决校准测试问题,同时开发了对该测试问题容差化的算法,并给出了其他校准距离的样本复杂性下界。
Feb, 2024
在线多类别 U 校准问题:解决了 Kleinberg 等人提出的开放问题,证明理想的 U 校准误差是 Θ(√KT),并在损失函数的自然假设下加强了结果,包括利普希茨损失函数的 Θ(log T) U 校准误差,可分解损失函数的 O (log T) U 校准误差,具有低覆盖数的损失函数的 U 校准误差界等。
May, 2024
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022