- 有选择性地回答视觉问题
近期,大型多模态模型在视觉任务中表现出前所未有的精确性,尤其对于帮助盲人或视障人士提供准确答案至关重要,而模型的校准和不确定性量化对于有选择性地回答问题或请求澄清非常重要。我们对在上下文学习的多模态模型上进行 VQA 校准方法和度量的深入分 - Mask-TS Net: 掩膜温度缩放不确定性校准用于息肉分割
在医学图像中,大多数著名的校准方法都关注分类,但在语义分割方面缺乏可比较的研究。我们发现在医学图像的息肉分割中,大多数病变区域只占整个图像的一小部分,导致先前模型对病变区域的校准不好,但对背景的校准较好,尽管其整体预期校准误差(ECE)得分 - 从卵石取珠:自动标记的改进置信度函数
使用阈值自动标记和最优置信度函数来提高自动标记系统的性能。方法 Colander 在基线模型的标签覆盖率上实现了高达 60% 的改进,并且保持自动标记错误率低于 5%,使用与基线相同数量的标记数据。
- 重新审视置信度估计:朝向可靠的故障预测
过去的研究表明,置信度评估方法往往会对错误的预测产生不利影响,本研究提出了一种新的置信度评估方法,通过寻找平坦极小值来扩大置信度差距,从而实现在多种分类场景下的失败预测性能的持续改进。
- 基于概率单纯形上的统计建模实现的精确保持校准
基于深度神经网络 (DNNs) 的分类模型必须进行校准来评估预测的可靠性。我们提出了一种使用概率模型对概率单纯形进行校准的方法,该方法可以保留预训练模型的准确性,并在准确性保持校准任务中胜过先前的方法。
- LLM 生成代码的质量与信任
该论文介绍了一种评估生成模型校准性的框架,并发现大部分生成代码模型在校准性方面表现不佳。通过使用 Platt 缩放等标准方法,可以改善校准性,从而提供更准确的决策支持和为未来研究提供校准方法的框架。
- 批量校准:重新思考上下文学习和提示工程的校准
通过对现有校准方法的系统分析,我们提出了一种简单而直观的批量校准(BC)方法,它控制了批量输入的上下文偏差,统一了各种先前的方法,并有效解决了上述问题,这种方法是零 - shot、只有推理过程中存在,且额外成本极低。在少样本设置下,我们进一 - ICCV重新思考数据精炼:不要忽视校准
神经网络在蒸馏数据上训练往往会产生过于自信的输出,需要通过温度标定和混合等校准方法进行修正。然而,现有的校准方法对于在大型源数据蒸馏产生的网络并不适用。本文显示,由于最大逻辑概率的分布更集中以及语义有意义但与分类任务无关的信息的丢失,蒸馏数 - ECCV针对失败预测的置信度校准反思
研究表明,许多置信度校准方法对于失败预测通常是无用或有害的;作者提出了一个假设平坦极小值有助于失败预测,并通过实验证实了这一假设。
- 图神经网络为何出现误校准?
本研究通过系统研究了图神经网络(GNN)节点预测的校准质量,提出了一个名为图注意力温度缩放(GATS)的新的校准方法,该方法使用基于注意力的体系结构进行节点温度缩放,适用于各种图数据集和 GNN 骨干。
- ICML使用 Alpha - 散度的贝叶斯神经网络可靠不确定性
本文提出基于信息几何中 alpha 差异的 BNN 校准方法,将 alpha 差异用于校准,针对参数估计和输出不确定性关系的回归问题,在特定 alpha 下提供更好的校准不确定性估计并提高了网络结构的计算效率。
- 经济代理人基于模型校准方法的比较
该研究使用计算实验通过比较多种普遍使用的代理模型定值方法,发现贝叶斯估计法优于频率学派、基于目标函数的方法,并提出需要进一步研究定值方法的未来方向。
- ICML现代神经网络的校准
深入实验和分析,提出了温度缩放法的简单有效性,可以解决现代神经网络中分类器的置信度校准问题。
- 从 Boosting 获取校准的概率
本文探讨了 AdaBoost 在预测概率时存在的失真问题,并介绍了三种校正方法:Platt Scaling,Isotonic Regression 和 Logistic Correction,在实验中发现 Logistic Correcti