自洽的共形预测

Feb, 2024

Self-Consistent Conformal Prediction

Lars van der Laan, Ahmed M. Alaa

TL;DR决策者使用机器学习进行决策时，在预测结果相同的情境下通常会采取相同的行动。符合性预测有助于决策者量化行动的结果不确定性，从而实现更好的风险管理。我们提出了自洽符合性预测，它能够生成既具有 Venn-Abers 校准的预测，又能在模型预测促使的行动条件下保持有效的符合性预测区间。我们的方法可以后期应用于任何黑盒预测模型，为特定行动提供严格的决策保证。数值实验表明我们的方法在区间效率和条件有效性之间取得了平衡。

Abstract

In decision-making guided by machine learning, decision-makers often take identical actions in contexts with identical predicted outcomes. Conformal prediction helps decision-makers quantify outcome uncertainty f

decision-making machine learning conformal prediction venn-abers calibrated predictions action-specific decision-making guarantees

发现论文，激发创造

基于一致预测集的人类决策改善

在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

Jan, 2024

对于任何数据分布，存在一致有效性保证

机器学习系统中风险量化与控制的研究，集中在处理 ML 系统收集自身数据时产生的数据分布变化问题，通过扩展 conformal prediction 理论以适应任意数据分布，并提出了针对特定数据分布的可行算法，以解决这一挑战。

May, 2024

共形在线模型聚合

这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

Mar, 2024

符合性预测教程

该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

Jun, 2007

概率鲁棒可伸缩机器学习分类的整体预测

通过引入得分函数的新定义和定义一组特殊的输入变量（conformal safety set），我们分析了可扩展分类器和一致预测之间的相似性，该安全集能够识别满足误差覆盖保证的输入空间模式，即在该集合中，观察到错误（可能不安全）标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击，我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。

Mar, 2024

一个温和的介绍：拟合预测及无分布不确定性量化

介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法，称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

Jul, 2021

一致决策理论：从不完美预测中获得安全的自主决策

引入了一种叫做 “符合性决策理论” 的框架，用于在机器学习预测存在不完美的情况下生成安全的自主决策，无需对世界模型做任何假设，从而得到具有低风险的可靠决策。

Oct, 2023

深度学习模型不确定性的置信度量化

本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Jun, 2023

信息论视角下的符合预测

本研究利用信息论来将符合预测与其他不确定性概念相联系，并证明了三种不同的方法来上界内在不确定性，同时通过符合预测和信息论不等式的组合，实现了两种直接有用的应用：（i）更规范和有效的符合训练目标，从头开始实现机器学习模型的端到端训练，（ii）将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证，并证明了我们的理论结果能够转化为流行的符合预测方法的低效性（平均预测集大小）。

May, 2024

机器学习中有效不确定性量化的共形预测方法的比较研究

过去几十年，数据分析和机器学习领域的大部分工作都致力于优化预测模型，并取得比现有模型更好的结果。然而，本文指出对于很多应用而言，更加重要的并非准确的预测，而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界，对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且，无需对数据进行参数假设，这一非参数结果在渐近程度上也不必依赖大数定律，使得这个框架成为唯一值得称为 “无分布假设” 的框架。

May, 2024