基于规则模型的不确定性量化
模型得分和不确定性对决策边界的选择有关,该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身,通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法,在高精确度边界下获得了 25%-40%的召回率提升,凸显了利用不确定性的好处。
Nov, 2023
提出了一种基于贝叶斯元模型的方法,该方法用于增强预训练模型的不确定性量化能力,以实现不同应用场景下的预测性能,例如图像分类中的领域外数据检测、错分检测和可信迁移学习,无需额外的训练数据,从而在多个代表性图像分类基准测试上展示了更好的表现。
Dec, 2022
针对机器学习模型影响采纳的关键因素之一 —— 信任,本研究提出了一组特征量,可以表征一个实例的复杂程度,并借助元学习框架评估误分类的风险。该框架在提高模型开发的复杂性方面具有潜在的应用前景,同时提供新的模型自我阻抗和解释手段。
Apr, 2023
在临床试验结果预测中,将不确定性量化、选择性分类和层次交互网络(HINT)相融合的方法显著提高了模型的性能,其中 PR-AUC 指标相对基础模型提高了 32.37%、21.43%和 13.27%,在预测 III 期试验时达到了 0.9022 的 PR-AUC 得分,表明该策略在临床试验预测领域具有鲁棒性和前景潜力。
Jan, 2024
本文展示了不确定性包装器在医学领域中与可靠方法和透明不确定性量化相结合的机器学习模型的应用和实用价值,以流式细胞术作为一个示例。
Nov, 2023
使用不确定性量化技术对预训练视觉模型进行预测不确定性估计,以提取有价值的预测并忽略不自信的预测,从而避免最多 80% 的被错误分类的样本。
Mar, 2024
本文提出了用于贝叶斯和频率主义框架的直观得分法 —— 确信度和怀疑度,以评估和比较 (multi-) 分类决策机器学习问题中预测品质和不确定性的重要性及数量表征。
Mar, 2023
如何在设计在线算法中最佳利用不确定性量化预测,以及如何利用更一般形式的不确定性量化,提出了基于在线学习的框架来在多实例场景中学习如何充分利用不确定性量化作出最佳决策。
Oct, 2023
该研究探讨了基于黑盒 LLMs 的自然语言生成的不确定性计量,提出几个置信度 / 不确定度统计度量标准,并发现语义分散的平均值可以作为评估 LLMs 响应质量的可靠指标。
May, 2023
本篇研究论文重点介绍了机器学习模型中的不确定性量化方法,特别关注神经网络以及在工程设计和医疗领域的应用。通过介绍多种不确定性量化方法和计量标准,本篇论文旨在帮助提高机器学习模型的安全性和可靠性,同时提供两个具体案例:锂离子电池寿命预测和涡轮发动机剩余使用寿命预测。
May, 2023