序数分类的一致风险控制

May, 2024

Conformal Risk Control for Ordinal Classification

Yunpeng Xu, Wenge Guo, Zhi Wei

TL;DR我们扩展了标准的符合预测方法，开发了几种符合风险控制方法，并应用于不同的学习问题。本文中，我们致力于控制序列分类任务中的符合风险，该任务在许多实际问题中具有广泛应用。为此，我们首先在符合风险控制框架中对序列分类任务进行了规范，并提供了理论风险边界控制方法。然后，我们提出了两种特别设计用于序列分类任务的损失函数，并开发了相应的算法来确定每种情况的预测集，以便将其风险控制在所需的水平。我们展示了我们提出的方法的有效性，并分析了两种风险在三个不同数据集上的差异，包括模拟数据集、UTKFace 数据集和糖尿病视网膜病变检测数据集。

Abstract

As a natural extension to the standard conformal prediction method, several conformal risk control methods have been recently developed and applied to various learning problems. In this work, we seek to control t

conformal prediction method conformal risk control methods ordinal classification tasks loss functions risk bounds

发现论文，激发创造

形式风险控制

本文扩展了符合预测的范畴，使其可以控制任何单调损失函数的期望值，并提出了符合风险控制过程。从计算机视觉和自然语言处理方面的实例证明了我们算法在限制误差率，图距离和标牌级别 F1 得分方面的应用。

Aug, 2022

带有许多类别的类条件拟合预测

本文提出了一种称为聚类置信预测的方法，该方法通过聚类类，将具有 “相似” 信心得分的类聚合在一起，然后在聚类水平上执行置信预测，进行分类问题中的更强的置信度验证，应用于多分类图像数据集中表现更加优秀。

Jun, 2023

非交换式的依法风险控制

本论文提出一种非交换可行的符号风险控制框架，用于控制数据不可交换情况下的任意单调损失函数的期望值，并通过在测试示例中基于其统计相似性的权重选择，使得我们的框架在存在变化点、时间序列或其他形式的分布漂移时更有用。实验表明我们的方法的实用性。

Oct, 2023

概率鲁棒可伸缩机器学习分类的整体预测

通过引入得分函数的新定义和定义一组特殊的输入变量（conformal safety set），我们分析了可扩展分类器和一致预测之间的相似性，该安全集能够识别满足误差覆盖保证的输入空间模式，即在该集合中，观察到错误（可能不安全）标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击，我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。

Mar, 2024

符合性预测教程

该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

Jun, 2007

基于符合预测和符合风险控制的自信目标检测：以铁路信号为例

本文介绍了一种基于符合性预测的可靠和可信预测器的使用，以便于在实际场景中部署深度学习模型，并提供能够准确反映其不确定性的置信度估计。作者结合新颖的数据集和现代化的目标检测器反复测试了几种符合性方法，并基于符合风险控制提出了新的方法，以此为目的，展示出符合性预测框架在评估模型性能和为实现正式保证的不确定性边界提供实际指导的潜力。

Apr, 2023

使用梯度下降逼近优化的拟合分类

本文研究了使用最大预测效率作为优化目标训练归纳一致预测器（inductive conformal predictor）的方法，将对可用于分类的归纳一致预测器进行了特别关注，并在几个真实数据集上进行了测试，结果表明该方法在大多数情况下相对于基线一致预测器具有更高的预测效率。

May, 2021

模糊基准下的整形预测

在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

Jul, 2023

对于任何数据分布，存在一致有效性保证

机器学习系统中风险量化与控制的研究，集中在处理 ML 系统收集自身数据时产生的数据分布变化问题，通过扩展 conformal prediction 理论以适应任意数据分布，并提出了针对特定数据分布的可行算法，以解决这一挑战。

May, 2024

时序预测的共形 PID 控制

我们研究了时间序列预测的不确定性量化问题，旨在提供易于使用且具有形式保证的算法。我们提出的算法基于符合性预测和控制理论的思想，能够在在线环境中前瞻性地模拟符合性得分，并能适应由季节性、趋势性和一般分布变化引起的系统误差。我们的理论简化和加强了现有的在线符合性预测分析。在美国州级 COVID-19 死亡人数提前四周预测的实验中，我们与官方 CDC 通讯中使用的集合预测方法相比，覆盖范围有所改善。我们还使用自回归、Theta、Prophet 和 Transformer 模型对电力需求、市场回报和温度进行了实验预测。我们提供了一个可扩展的代码库，用于测试我们的方法以及集成新算法、数据集和预测规则。

Jul, 2023