Apr, 2020

多类别和多标签预测中的有效和验证置信集

PDF
TL;DR本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法，可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战，且可以和任何分类模型结合使用并保证有效性。
conformal predictionmulticlassmultilabelquantile regressiontree-structured classifiers
发现论文，激发创造
  • 具有有效和自适应覆盖范围的分类

    本文提出了新型一致性得分，结合适用于分类问题的定制化 Conformal inference、交叉验证、Jackknife 等方法，在保证边际覆盖率的前提下，也可以应对复杂的数据分布，其在合成数据和真实数据上获得实际价值和统计优势。

    Jun, 2020

  • 带有许多类别的类条件拟合预测

    本文提出了一种称为聚类置信预测的方法，该方法通过聚类类，将具有 “相似” 信心得分的类聚合在一起，然后在聚类水平上执行置信预测，进行分类问题中的更强的置信度验证，应用于多分类图像数据集中表现更加优秀。

    Jun, 2023

  • 有条件有效的概率拟合预测

    我们开发了一种新方法来创建预测集，它结合了符合性方法的灵活性和条件分布 P（Y | X）的估计。我们的方法扩展了现有方法，实现了条件覆盖，这对许多实际应用至关重要。我们提供了非渐近界限，明确依赖于对条件分布的可用估计的质量，使得我们的置信集在数据的局部结构上高度自适应，特别适用于高异方差情况。通过广泛的模拟，我们证明了我们的方法的有效性，显示其在条件覆盖和统计推断的可靠性方面优于现有方法，在各种应用中提高了统计推断的可靠性。

    Jul, 2024

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 多类别分类的预期尺寸置信区间

    本文提出了一种在多类分类问题中，通过最小化经验凸风险函数定义的评分函数提供输出类标签集合而不是单一标签的方法，该方法利用凸聚合与 V 折交叉验证原则，具有预期大小的控制和分类风险的最小化性质。

    Aug, 2016

  • 置信可行集预测器

    使用与所提目的相应的相合预测的方法，成功地用置信集对分类任务进行预测。

    Feb, 2024

  • 具有通用函数类的高效可微形预测

    本文提出了一种广义的拟合的预测集来解决多可学习参数，通过考虑找到最有效的预测集的约束经验风险最小化问题，从而实现有效的经验覆盖。同时，本文还开发了一种基于梯度的算法来优化这个 ERM 问题以近似有效的覆盖和最优效率。

    Feb, 2022

  • 机器翻译评估的共形化

    本文研究机器翻译的不确定性评估方法，发现目前大多数方法对模型不确定性的估计较低，建议采用分布自由的合规预测法来保证覆盖度，并提出条件合规预测技术来获得每个数据子组的校准子集，从而实现覆盖率均衡。

    Jun, 2023

  • 评估基于变换预测集的 AI 辅助图像标注的实用性

    在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与 Top-1 和 Top-k 预测展示相比在 AI 辅助图像标注中表现的优势，并发现对易任务来说，预测集合与 Top-1 和 Top-k 展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。

    Jan, 2024

  • 通过神经模型逼近条件覆盖率和校准性

    通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

    May, 2022