AAAIApr, 2021

学习层叠：置信度校准用于提高层叠推理系统的准确性和计算成本

PDF
TL;DR该研究论文关注使用置信度评分的级联推理系统，讨论了在推理准确性和计算成本方面提高系统性能的期望置信度评分，并提出了新的置信度校准方法 Learning to Cascade。实验结果表明，Learning to Cascade 在推理准确性和计算成本之间实现了更好的平衡。
发现论文，激发创造
  • 基于随机推理的深度神经网络单次置信度校准学习

    本文提出了一种深度学习置信度和准确性校准的通用方法，基于随机推断对网络的预测结果进行置信度和准确性分析并设计了一种新型的基于方差加权的置信度综合损失函数，以实现网络置信度的正确预测和校准。实验结果表明该算法有效地解决了深度神经网络在预测置信度上的过度自信问题，且在不同模型和数据集上表现出色。

    Sep, 2018

  • $C^3$: 用于推理高效的跨语言自然语言理解的置信度校准模型级联

    本研究引入了一种置信度校准的模型级联方法（$C^3$），通过在级联推断之前进行校准，提高了级联的准确性，实验证明 $C^3$ 明显优于所有现有的基线模型。

    Feb, 2024

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 深度学习中的一致置信现象及其对校准的影响

    本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

    Jun, 2023

  • 朝着校准的深度聚类网络

    深度聚类存在过度自信问题，本研究开创性地提出了一个校准深度聚类框架，通过引入一个新的双头深度聚类流程来有效校准预测的置信度和实际准确性，通过规范化方法调整聚类流程中过度自信的预测，动态选择可靠的高置信度样本进行训练，并引入一种有效的网络初始化策略，提高训练速度和网络鲁棒性。广泛实验证明，该校准深度聚类框架在期望校准误差方面超过了最先进的深度聚类方法约 10 倍，并在聚类准确性方面显著优于它们。

    Mar, 2024

  • 针对失败预测的置信度校准反思

    研究表明，许多置信度校准方法对于失败预测通常是无用或有害的；作者提出了一个假设平坦极小值有助于失败预测，并通过实验证实了这一假设。

    Mar, 2023

  • 提高置信度估计的可靠性

    本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

    Oct, 2022

  • 目标检测的多类置信度和定位校准

    本文使用新的训练技术，利用预测不确定性联合校准多类置信度和边界框定位，在多个数据集中测试表明，该方法可以有效地提高现代物体检测方法的校准性能。

    Jun, 2023

  • 人体姿势估计的校准

    该研究论文介绍了解决姿势估计中的误校准问题的方法，通过理论分析和网络调整实现了准确度的显著提升，并提出了一种轻量级后期增益算法（CCNet），可进一步改善准确度。

    Nov, 2023