基于局部加权合拢预测的自动估值模型中的不确定性量化

Dec, 2023

基于局部加权合拢预测的自动估值模型中的不确定性量化

Uncertainty quantification in automated valuation models with locally weighted conformal prediction

Anders Hjort, Gudmund Horn Hermansen, Johan Pensar, Jonathan P. Williams

TL;DR非参数机器学习模型与符合预测是房地产市场数据中准确预测房屋价格的方法，但由于地理空间上的依赖，直接应用符合预测在不同地理区域的置信区间不完全校准。本研究调查了各种方法来调整符合预测的置信区间以解决此问题，并在挪威奥斯陆房地产市场数据集上验证其性能。研究结果表明，在非一致性分数的 extit {局部加权} 版本上校准置信区间可以在不同地理区域中一致地进行校准。我们还在合成生成的销售价格上进行了模拟研究，从而在已知数据生成机制的理想条件下实证探索符合预测在房地产市场数据上的性能。

Abstract

non-parametric machine learning models, such as random forests and gradient boosted trees, are frequently used to estimate house prices due to their predictive accuracy, but such methods are often limited in their ability to quantify prediction uncertainty. →

non-parametric machine learning models conformal prediction confidence sets spatial dependencies housing market data

发现论文，激发创造

深度学习模型不确定性的置信度量化

本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Jun, 2023

电力市场中光伏发电的随机决策的一致性预测

该论文研究了使用符合性预测（CP）这种新兴的概率预测方法对光伏发电功率进行次日预测，以提高其参与电力市场的效果。研究结果表明，将 CP 与最近邻和 / 或 Mondrian binning 相结合优于线性分位数回归器，将 CP 与特定的竞标策略相结合，可以在最小化能量不平衡的同时获得高利润。

Mar, 2024

快速自适应预测区间的回归树

提供一种新的方法，用于校准具有局部覆盖保证的回归问题的预测区间，该方法基于训练回归树和随机森林的合规得分创建最粗糙的特征空间划分，适用于各种合规得分和预测设置，且在模拟和实际数据集中表现出比现有基准更优的可扩展性和性能。

Feb, 2024

ConU: 具有正确性覆盖保证的大型语言模型中的符合不确定性

通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对 6 个大型语言模型在 4 个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

Jun, 2024

一种对标签噪声具有鲁棒性的一致性预测得分

通过在设定的概率内构建小的预测集合，拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题，引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分，并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集，发现我们的方法在预测集合的平均大小方面明显优于当前方法，同时保持所需的覆盖率。

May, 2024

数据异质性下的高效符合性预测

一种对数据不可交换性建立了有效的置信区间的新方法，并在联邦学习中的数据异质性下构建了个性化预测集合，通过实验验证了该方法的有效性。

Dec, 2023

通过邻域符合预测改进深度分类器的不确定性量化：新算法和理论分析

本研究提出了一种名为邻域适应序列预测（NCP）的新算法，通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例，并根据它们的距离分配重要性权重，创建自适应预测集，从而提高使用 CP 进行深度分类器的不确定性量化的效率。

Mar, 2023

共形在线模型聚合

这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

Mar, 2024

机器学习中有效不确定性量化的共形预测方法的比较研究

过去几十年，数据分析和机器学习领域的大部分工作都致力于优化预测模型，并取得比现有模型更好的结果。然而，本文指出对于很多应用而言，更加重要的并非准确的预测，而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界，对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且，无需对数据进行参数假设，这一非参数结果在渐近程度上也不必依赖大数定律，使得这个框架成为唯一值得称为 “无分布假设” 的框架。

May, 2024

可验证的强健拟合预测

使用最新的神经网络验证方法，基于 VRCP（可验证鲁棒性适应预测）框架，本文提出了一种新的方法，用于恢复在遭受对抗攻击时的预测覆盖率保证，并支持任意范数的扰动和回归任务，实验结果表明，在图像分类和强化学习环境的回归任务中，VRCP 方法达到了超过标称覆盖率的结果，并且比目前最先进的方法更高效且信息量更丰富。

May, 2024