MD-split+: 高维实用局部共形推断

ICMLJul, 2021

MD-split+: Practical Local Conformal Inference in High Dimensions

Benjamin LeRoy, David Zhao

TL;DR介绍了一种基于本地模型性能的条件密度估计模型的本地 conformal 方法 MD-split ，可用于复杂的现实世界数据设置，用于确定 X 分区，并与其他本地 conformal 方法进行比较。

Abstract

Quantifying uncertainty in model predictions is a common goal for practitioners seeking more than just point predictions. One tool for uncertainty quantification that requires minimal assumptions is conformal inference, which can help create probabilistically valid prediction regions f

uncertainty quantification conformal inference local conformal approach conditional density estimation model performance

发现论文，激发创造

带区间估计的一致预测

提出了一种名为局部一致性预测的新方法，它可以仅使用新测试样本周围的局部区域来构建置信区间，旨在将数据互换性打破为测试样本赋予特殊角色的情况下，推广了一致性预测方法，并证明了其假设无关与有限样本覆盖保证，并在模拟中比较了局部一致性预测和一致性预测的行为。

Aug, 2019

异方差整体回归

本文研究了如何使用规范预测方法构建自适应预测区间，通过使用归一化和蒙德里安规范预测等方法，在理论和实验结果中进行系统性调查。

Sep, 2023

本地化拟合预测：一种基于推理的拟合预测通用框架

本文提出一种名为局部合规预测的新的推理框架，它通过提供围绕测试样本的局部区域的自适应构建的单次测试样本，以及与不同合规得分结构相结合，来推广合规预测的框架。该框架享有无假设的有限样本边际覆盖保证，并在适当的假设条件下提供额外的局部覆盖保证。我们展示了如何使用多个合规分数从合规预测变为局部合规预测，并通过数值实例说明了潜在的收益。

Jun, 2021

CD-split 和 HPD-split：高维度有效的共形区域分割

本研究探讨 CD-split 当中的调整参数以及其理论性质，最终通过介绍一种新的 CD-split 变体 HPD-split，实现更好的条件覆盖以及更小的预测区间。

Jul, 2020

共形在线模型聚合

这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

Mar, 2024

一个温和的介绍：拟合预测及无分布不确定性量化

介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法，称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

Jul, 2021

基于特征一致性预测的预测推断

本文提出了基于特征空间的符合性预测方法，利用深度学习的归纳偏差将该方法扩展到语义特征空间，从理论上证明其在温和假设下优于传统方法，并且结合不仅限于普通的符合性预测算法，还可以与其他自适应符合性预测方法结合，从现有的预测推断 benchmark 以及 ImageNet 分类和 Cityscapes 图像分割等大规模任务的实验中证明了该方法的最佳性能。

Oct, 2022

通过增强的符合预测方法验证大型语言模型的有效性

我们开发了新的一致推断方法，用于获取大型语言模型 (LLMs) 输出的有效性保证。我们通过过滤控制函数的评估结果来确定出 LLM 响应中满足高概率正确性保证的文本子集。我们的方法解决了现有方法存在的两个问题，首先，所述保证并非条件有效；其次，因为评分函数不完善，过滤步骤可能会删除许多有价值和准确的声明，我们通过两种新的一致方法解决了这两个挑战。

Jun, 2024

深度学习模型不确定性的置信度量化

本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Jun, 2023

对于任何数据分布，存在一致有效性保证

机器学习系统中风险量化与控制的研究，集中在处理 ML 系统收集自身数据时产生的数据分布变化问题，通过扩展 conformal prediction 理论以适应任意数据分布，并提出了针对特定数据分布的可行算法，以解决这一挑战。

May, 2024