BriefGPT.xyz
Ask
alpha
关键词
calibration metrics
搜索结果 - 5
全局完善：大型语言模型上的标记级校准度量
深度神经网络和大型语言模型在提供准确的不确定性估计方面面临挑战，因此提出一种新的校准概念 —— 完全校准，并引入其相应的度量指标 Full-ECE，用于评估预测概率分布的整体校准性。
PDF
19 days ago
重新评估机器学习模型的校准比较和改进方法
机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。
PDF
a month ago
从大型语言模型中校正长文生成
通过引入统一的校准框架，以及发展三种度量和两种置信度引导方法，提高大规模语言模型的校准能力，并进行了实验验证，进一步展示了大型模型不一定保证更好的校准，校准性能依赖于度量，自一致性方法在基准数据集上表现优异，通过微调、整合相关源文件、缩放温
→
PDF
5 months ago
探究医学图像分析中的标定偏差问题
本研究探讨了医疗影像分析中的人工智能系统的公平性问题，特别是围绕判定偏见和校准偏见的研究，并展示了通常使用的多种校准指标对样本量存在系统性偏差的情况，如果未考虑到这一点，可能会导致错误的公平性分析。
PDF
a year ago
制造业自动视觉检测中的主动学习和新模型校准测量
本研究比较了三种主动学习方法和视觉检测，提出了六个新的指标来评估校准质量，并探讨了现有校准器是否能通过利用近似基准事实来扩大校准集合来提高性能。研究结果表明，即使在达到 0.95 的阈值时，探索的主动学习设置也可以将数据标注工作量减少三到四
→
PDF
2 years ago
Prev
Next