expected calibration error | BriefGPT

关键词expected calibration error

搜索结果 - 15

期望校准误差的信息论泛化分析
本文首次全面分析了两种常见的分箱策略中的估计偏差，建立了偏差的上界以实现改进的收敛速率，并给出了最小化估计偏差的最佳箱数。此外，使用信息理论方法扩展了我们的偏差分析到广义化误差分析，得出了上界，使得我们能够数值评估未知数据的 ECE 多小。
PDFa month ago
ACLSPUQ：面向大型语言模型的扰动式不确定性量化
最近几年，大型语言模型（LLMs）已经变得越来越普遍，提供了卓越的文本生成能力。然而，一个迫切的挑战是它们倾向于做出自信的错误预测，突显出在 LLMs 中的不确定性量化（UQ）的重要性。尽管以往的研究主要集中在解决 aleatoric 不确
PDF4 months ago
朝着校准的深度聚类网络
深度聚类存在过度自信问题，本研究开创性地提出了一个校准深度聚类框架，通过引入一个新的双头深度聚类流程来有效校准预测的置信度和实际准确性，通过规范化方法调整聚类流程中过度自信的预测，动态选择可靠的高置信度样本进行训练，并引入一种有效的网络初始
PDF4 months ago
Fact-and-Reflection (FaR) 提高大型语言模型的置信度校准
通过探索不同的提示策略对 LLM 的置信度校准的影响以及如何改进，本文提出了 Fact-and-Reflection（FaR）提示法，它通过两个步骤改善 LLM 的校准，同时大幅降低了预期校准误差，并在更自信的场景中还能引发检索增强来解决更
PDF4 months ago
获得 2 根号 T 的校准距离的初级预测模型
提出了一个简单而有效、确定性算法，能够在对抗环境中以最多 2√T 的距离来获得校准误差，解决了存在性问题。
PDF5 months ago
ECE 的缺陷程度如何？一种基于 Logit 平滑的分析
模型标定程度的度量方法之一是期望标定误差（ECE），但 ECE 在实践中存在不连续性问题。本研究通过分析 ECE 的不连续性，提出了一种连续且易于估计的标定误差度量指标 LS-ECE，并通过对预训练图像分类模型的实验表明，ECE 的理论缺陷
PDF5 months ago
透过校准视角，走向理解不变风险最小化的变体
使用期望校准误差（ECE）作为关键指标，比较分析具有分布偏移的数据集的各种近似 IRM 技术，发现信息瓶颈基于 IRM 的方法在提升 ECE 的同时相对保持准确性的平衡，为保持稳健性不牺牲准确性提供了可行的途径，且提示需要系统方法评估超规范
PDF5 months ago
如何有效地训练一组 Faster R-CNN 目标检测器以量化不确定性
该论文介绍了一种新的方法，用于训练两阶段目标检测集成模型，特别是使用 Faster R-CNN 模型来估计不确定性。我们建议训练一个区域建议网络 (RPN) 和多个 Fast R-CNN 预测头，构建一个可靠的深度集成网络来估计目标检测中的
PDF9 months ago
平滑 ECE: 基于核平滑的可靠性图
通过对观测值进行平滑处理并计算期望校准误差（Expected Calibration Error，ECE）来修正可视化和衡量概率预测器校准性的最常见方法 — 分段和 ECE，从而获得一种行为良好的校准衡量方法 ——SmoothECE。此外，
PDF10 months ago
使用电竞数据重新思考概率估计模型的评估指标
该研究提出了一种新的平衡得分指标，用于评估电子竞技中的胜率预测模型，并发现该指标在六个方面具有简单且有效的性质，对概率估计模型具有潜在的应用潜力。这项研究的结果在模拟研究和真实比赛快照数据上进行了广泛评估，为电子竞技胜率预测模型及其他概率估
PDF10 months ago
Cal-SFDA：无源域自适应语义分割与可微的期望校准误差
提出了一种新的校准引导的无源自适应语义分割 (Cal-SFDA) 框架，该框架通过估计预期校准误差 (ECE) 进行模型训练和选择，以适应目标域数据，并在两个常用的合成 - 真实转移任务上超过了先前的最新技术。
PDFa year ago
ACL基于数据制图的预训练语言模型 MixUp 技术
本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练
PDF2 years ago
及时的一针可以节省九针：列车时间正则化损失以提高神经网络校准
本文提出了一个新的辅助损失函数（MDCA）用于深度神经网络的精确度校准，培训使用 MDCA 的模型能够在预测标签方面表现更好，显著提高期望校准误差和静态校准误差，在图像分类和分割任务中比当前的最佳方法更加精确。
PDF2 years ago
评估分类器校准的 “在测试集上拟合” 视角的有效性
该研究通过多种后期校准方法来降低分类器的校准误差，同时提出了基于测试数据拟合一族函数来评估期望校准误差，以及引入了 PL 和 PL3 校准映射族的新的校准和评估方法。
PDF2 years ago
ICML元校准：使用可微分的期望校准误差学习模型校准
提出一种新颖的框架，其中引入了可微替代预期校准误差 (DECE)，以直接优化校准质量，并采用 DECE 进行元学习框架，实现了对模型超参数的验证集校准优化。该框架在解决模型校准方面具有开创性，并在与业界最新校准方法的对比实验中取得了竞争力的
PDF3 years ago