CRFace:用于模型无关人脸检测精化的置信度排名器
利用归纳 Venn--Abers 预测器(IVAP)校准二元标签对应的输出标记的概率,我们的实验结果表明 IVAP 方法在各种标签标记选择下始终优于常用的温度缩放方法,能够产生良好校准的概率并保持高的预测质量。
Jul, 2024
该研究使用基于随机森林的代理模型技术加速评估传染病流行模型,并通过 Markov 链蒙特卡罗方法对一种名为 CityCOVID 的流行病学模型进行校准,以提高其预测性能。
Jun, 2024
本文提出了一种定制的轻量级背骨网络 (BLite) 和一种轻量级人脸检测器 (FDLite),采用常用的损失函数和学习策略进行训练,并在 WIDER FACE 验证数据集的不同子集上分别达到了 92.3%、89.8% 和 82.2% 的平均准确率 (AP)。
Jun, 2024
我们研究了用于诊断决策的卷积分类器的校准问题。临床决策者可以使用校准后的分类器来最小化在其成本函数下的期望成本。在训练时,这样的函数通常是未知的。如果最小化期望成本是主要目标,算法应该侧重于调整概率单纯形中影响决策的区域的校准。我们给出一个例子,修改温度标定校准,并通过使用训练用于分类皮肤镜图像的卷积神经网络演示了改进的校准。
Jun, 2024
该研究是第一项全面评估选定模型的多校准后处理在广泛标签、图像和语言数据集上的实用性,并总结了:(1)开箱即用的模型往往相对多校准且无需额外的后处理;(2)多校准后处理可以改善本质上无法校准的模型;(3)传统的校准度量有时会隐含地提供多校准度。此外,还总结了许多独立的观察结果,对实际应用多校准后处理在现实环境中具有实用性和有效性的情况可能有所帮助。
Jun, 2024
利用贝叶斯决策理论的视角,本研究通过假设我们的效用是通过比较生成的回答和理论上的真实回答的相似度来衡量,从而解决了大语言模型生成自由形式回答时的不确定性量化问题。我们进一步从缺失数据的角度推导出一种表征为过量风险的认知不确定性衡量方法。所提出的方法可以应用于黑盒语言模型,并在问答与机器翻译任务上展示了如何从 GPT 和 Gemini 模型中提取具有广泛意义的不确定性估计并量化它们的校准度。
Jun, 2024
机器学习模型的校准至关重要,本文重新评估了最近文献中校准指标的报告情况,并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。
Jun, 2024
用标定的数据校准预测模型的不确定性,通过训练标定过程以实现区间的本地化,选择适当的距离度量代替标准预测误差,并通过训练来学习最优度量,从而充分应用于现有的局部适应性标定策略,适用于任何点预测模型。
Jun, 2024