ACLApr, 2020

句子分类任务上的后验校准训练

PDF
TL;DR本文提出了一种名为 Posterior-Calibrated Training 的训练方法，直接优化目标，并最小化预测后验概率与经验后验概率的差异，从而在减小校准误差的同时提高任务性能。该方法对于任何类型的分类任务都能很好地适用。
posterior probabilitycalibration errorposcal trainingclassification tasksregularization term
发现论文，激发创造
  • 后验概率的重要性：在线广告神经预测的双适应校准

    通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。

    May, 2022

  • 超越分类的校准测试

    这篇论文提出了第一个框架，统一了概率预测模型的校准评估和测试，并应用于分类和任意维度回归模型。

    Oct, 2022

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 通过提高预测正确性意识来优化校准

    模型校准的新后续校准目标函数通过使用样本的转换版本来减少模型对错误预测样本的置信度并增加对正确预测样本的置信度，从而与现有技术在校准性能上达到相当竞争水平。

    Apr, 2024

  • 基于贝叶斯神经网络的预测不确定性与后验校准对比

    使用贝叶斯神经网络进行预测可以直接模拟预测分布，在小数据组和表格数据中表现竞争力，并与校准神经网络进行比较。

    Sep, 2022

  • 预训练转换器的校准

    通过对 BERT 和 RoBERTa 在自然语言推理、释义检测和常识推理三方面的实验，本研究发现预训练模型在领域内使用时具有校准性，而且与基准相比，在领域外的校准误差可以低至 3.5 倍；降温和标签平滑等方法可以进一步减少领域内的校准误差和校准领域外的计算后验概率。

    Mar, 2020

  • 神经网络回归的设计概率校准

    通过将后续校准嵌入到训练过程中，我们提出了一种名为量位数校准训练的新型端到端模型训练方法，该方法直接在训练过程中进行校准，无需额外参数，并且演示了其在大规模实验中在提高预测准确性的同时保持校准的性能。

    Mar, 2024

  • 分类模型的校准评估

    研究了概率分类器的不确定性表示和校准，提出了基于概率理论的校准评估框架并增加了新的评估和可视化工具。

    Feb, 2019

  • 自然語言處理模型後驗校準與探索性分析

    本文主要讲述了自然语言处理中，对于语言结构的概率分布应当被直接评估，NLP 不确定性不只是管道组件，还应被投影到探索性数据分析中，我们提出了一种分析校准的方法，并将其应用于比较了几个常用模型的误校准情况； 此外，我们还贡献了一种共参采样算法，旨在创建政治事件抽取任务的置信区间。

    Aug, 2015

  • 神经网络回归中概率校准的大规模研究

    本文通过最大实证研究来评估神经网络的概率校准和比较多种校准方法，并发现正则化方法在概率校准和锐度之间提供有利的权衡，而修正方法具有更好的概率校准。同时，我们还展示了分位数校准可以被视为一种特定的修正方法，并论证了修正方法的概率校准优势来自于有限样本覆盖的保障。

    Jun, 2023