SIGIRMay, 2022

后验概率的重要性：在线广告神经预测的双适应校准

PDF
TL;DR通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。
predictive modelscalibration techniquesadacalibposterior probabilitiesonline deployment
发现论文，激发创造
  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 句子分类任务上的后验校准训练

    本文提出了一种名为 Posterior-Calibrated Training 的训练方法，直接优化目标，并最小化预测后验概率与经验后验概率的差异，从而在减小校准误差的同时提高任务性能。该方法对于任何类型的分类任务都能很好地适用。

    Apr, 2020

  • 置信度感知的多字段模型校准

    我们提出了一种自信度感知的多字段校准方法，根据样本统计得到的自信度水平自适应调整校准强度，并利用多个特征字段进行联合模型校准，以减轻单一字段的数据稀疏效应，从而提升广告表现并降低预测误差。

    Feb, 2024

  • 基于贝叶斯神经网络的预测不确定性与后验校准对比

    使用贝叶斯神经网络进行预测可以直接模拟预测分布，在小数据组和表格数据中表现竞争力，并与校准神经网络进行比较。

    Sep, 2022

  • 神经网络回归的设计概率校准

    通过将后续校准嵌入到训练过程中，我们提出了一种名为量位数校准训练的新型端到端模型训练方法，该方法直接在训练过程中进行校准，无需额外参数，并且演示了其在大规模实验中在提高预测准确性的同时保持校准的性能。

    Mar, 2024

  • 神经网络回归中概率校准的大规模研究

    本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法，并发现正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准。同时，我们还展示了分位数校准可以被视为一种特定的修正方法，并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。

    Jun, 2023

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • 预测结果校准：一种新的多类校准方法

    本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

    Jul, 2021

  • 自然語言處理模型後驗校準與探索性分析

    本文主要讲述了自然语言处理中，对于语言结构的概率分布应当被直接评估，NLP 不确定性不只是管道组件，还应被投影到探索性数据分析中，我们提出了一种分析校准的方法，并将其应用于比较了几个常用模型的误校准情况； 此外，我们还贡献了一种共参采样算法，旨在创建政治事件抽取任务的置信区间。

    Aug, 2015

  • 后验退火：回归问题的快速校准不确定性

    本研究提出了一种名为后验退火的快速校准不确定性估计方法，适用于多种深度回归模型和任务，并在各种网络结构和不同领域的任务上进行了实证分析。

    Feb, 2023