miscalibration | BriefGPT - AI 论文速递

关键词miscalibration

搜索结果 - 19

不要相信你所信任：半监督学习中的误校准
本文通过实证研究表明，基于伪标签的半监督学习方法存在显著的误校准问题。为了解决这个问题，本文提出了一个简单的惩罚项，通过保持未标记样本的预测结果的对数距离较小，防止网络预测过于自信。在多个半监督学习图像分类评估中，全面的实验结果表明，所提出
PDF3 months ago
In-n-Out: 用于链接预测的图神经网络校准
深度神经网络的输出通常无法准确反映我们所预测事件的真实概率，而图神经网络在节点级别的分类中显示相反的行为，但在预测链接时，图神经网络通常表现出不同行为。本文提出了 IN-N-OUT 方法，通过对边缘分配真 / 假标签，来改善图神经网络在链接
PDF4 months ago
有选择的学习：带动态正则化的鲁棒校准
深度学习中的误校准问题是指预测的置信度与性能之间存在差异。我们提出一种叫做 Dynamic Regularization (DReg) 的方法，通过动态调整正则化以提高模型的可靠性，适应于超出模型能力范围的样本，在理论和实证分析中已证明其优
PDF5 months ago
校准攻击：一种面向校准的对抗攻击框架
我们引入了一种名为校准攻击的对抗攻击框架，该框架通过生成和组织攻击来使受害模型误校准而不改变其原始准确性，从而严重危及模型的可信性和基于其置信度分数的决策。我们鉴别了四种新颖的校准攻击形式：低置信度攻击、高置信度攻击、最大误校准攻击和随机置
PDF6 months ago
打破定型：一个统一框架用于审视推荐系统中的误判、偏见和刻板印象
评估推荐系统的系统性误差、刻板印象和校准问题，并提出了一种统一框架来衡量系统引起的效应，研究发现简单算法生成的推荐结果更符合刻板印象但偏差较小，而较复杂算法产生的推荐则存在更大的偏差，进而影响到非典型用户和少数群体，通过过采样来减少刻板印象
PDF6 months ago
AUGCAL：通过不确定性校准增强合成图像以改善 Sim2Rreal 适应性
通过使用强化视图和在对合成图片预测的过程中优化训练时间校准损失，AUGCAL 可提高基于合成数据适应模型的性能，并降低在真实应用中的过度自信和错误预测的错误率。
PDF7 months ago
人体姿势估计的校准
该研究论文介绍了解决姿势估计中的误校准问题的方法，通过理论分析和网络调整实现了准确度的显著提升，并提出了一种轻量级后期增益算法（CCNet），可进一步改善准确度。
PDF7 months ago
EMNLP用户对不确定性下人工智能的信任的历时视角
人工智能系统的可靠性和决策呈现方式对用户建立 AI 系统的心理模型至关重要，现代自然语言处理系统常常不可靠，导致系统信任被削弱，研究发现用户对错误和不准确的信心估计会对信任和性能造成损害，并且这种损害缓慢恢复，这些发现凸显了用户面向的人工智
PDF8 months ago
基于标签排序的深度分类器的拟合预测
通过理论和实验，本文证明了无视概率值可以减轻在 conformal prediction 中概率值失配所导致的大预测集的不良影响。然后，提出了一种名为 “Sorted Adaptive prediction sets” (SAPS) 的新算
PDF9 months ago
长尾识别的双通道温度缩放校准
该研究论文提出了一种双分支温度缩放校准模型 (Dual-TS)，同时考虑了不同类别的温度参数的多样性和少数类别中稀有样本的温度参数的非通用性，并提出了新的校准评估度量 Esbin-ECE。实验证明，该模型在传统 ECE 和 Esbin-EC
PDFa year ago
错配的两面：识别网络校准中的过度自信和不足自信预测
深度神经网络的适当置信度校准对于安全关键任务中的可靠预测至关重要。近期的研究强调了校准技术引入的置信度过高问题，并成功在各种任务上展示了其成果。然而，置信度过低问题尚未得到足够重视。本文首先引入了一种新的指标，即校准错误评分，用于识别整体和
PDFa year ago
通过个体校准实现对图上稀有类别的可靠分析
在高度不平衡的数据分布中，研究了罕见类别分析（Rare Category Analysis）的不确定性量化、误校正和个体校准等问题，并提出了一种名为 CALIRARE 的新型个体校准框架来实现可靠的罕见类别分析。
PDFa year ago
超越校准：估算现代神经网络的分组损失
本文研究了分类器给出可靠置信度分数的能力，在分组损失的影响下，提出了适用于标准设置下的分组损失估计器，利用该估计器证明了现代神经网络在计算机视觉和自然语言处理中存在分组损失
PDF2 years ago
MM推荐系统中流行度偏差、校准和公平性之间的关联
本研究考虑不同推荐算法对不同用户偏好的响应度进行测量，并揭示了算法中流行度偏差可能是导致推荐偏差的重要因素。两个真实数据集的实验结果表明，用户群体受到算法中流行度偏差程度与他们对流行物品的兴趣程度之间存在关联，并且受到算法中流行度偏差影响越
PDF4 years ago
ACL神经机器翻译推理校准
本文对神经机器翻译中置信度校准的问题进行研究，发现在推断时训练数据与推断数据的不同导致了校准不准确的问题。作者提出了一种新的 graduated label smoothing 方法来提高推断校准和翻译性能。
PDF4 years ago
CVPR目标检测的多元置信度校准
提出了一种新的方法来测量并校准物体检测方法的偏置（或机器不准确）置信度估计，使用附加信息可以在图像位置和框比例方面获得校准的信心估计，并提出了一种新的度量方法来评估物体检测器的不准确性。
PDF4 years ago
利用 Focal Loss 对深度神经网络进行校准
本文研究神经网络中误差校准问题，并提出了使用 Focal Loss 和温度缩放的方法，通过自动调整超参数来实现良好的校准，同时在多个计算机视觉和自然语言处理数据集上进行广泛的实验，证明了该方法可以在不损失准确率的情况下获得实现真正校准预测的
PDF4 years ago
流行度偏见对推荐的公平性和校准性的影响
本文介绍了一种度量推荐算法响应用户真实偏好的度量标准，称为 “miscalibration”。研究人员考虑了各种算法可能导致不同程度的 miscalibration，从而探讨了当算法流行度偏差导致 miscalibration 时的关键因素
PDF5 years ago
WWWField-aware Calibration：可靠概率预测的简单有效方法
本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度
PDF5 years ago