适应性选组等覆盖的共形分类
本文提出了新型一致性得分,结合适用于分类问题的定制化 Conformal inference、交叉验证、Jackknife 等方法,在保证边际覆盖率的前提下,也可以应对复杂的数据分布,其在合成数据和真实数据上获得实际价值和统计优势。
Jun, 2020
为了保证数据驱动的推荐系统的公平使用,我们应该能够向决策者传达它们的不确定性。我们提出了一个操作方法,名为 equalized coverage,该方法通过提供严谨的分布自由覆盖保证,使构造预测间隔不带偏见。我们在真实数据上测试了所提出框架的适用性,证明 equalized coverage 构造的预测间隔是不带偏见的。
Aug, 2019
该研究开发了新的遵循性预测方法,用于分类任务,可以自动适应标签污染,实现比现有方法更具信息量的预测集,并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画,并通过新的校准算法实施行动。我们的解决方法灵活,并且可以利用关于标签污染过程的不同建模假设,同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对 CIFAR-10H 图像数据集的对象分类应用来证明了所提出方法的优势。
Sep, 2023
本文提出了一种称为聚类置信预测的方法,该方法通过聚类类,将具有 “相似” 信心得分的类聚合在一起,然后在聚类水平上执行置信预测,进行分类问题中的更强的置信度验证,应用于多分类图像数据集中表现更加优秀。
Jun, 2023
通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区,再通过 Inductive Venn 预测器进行校准,从而实现对不确定性的量化和计算机分类模型预测集的标记,进而实现最终任务的目标。
May, 2022
本文提出了一种广义的拟合的预测集来解决多可学习参数,通过考虑找到最有效的预测集的约束经验风险最小化问题,从而实现有效的经验覆盖。同时,本文还开发了一种基于梯度的算法来优化这个 ERM 问题以近似有效的覆盖和最优效率。
Feb, 2022
我们开发了一种方法,用于生成预测集,其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测,这是一种强大的框架,用于构建在独立同分布假设下有效的预测集。重要的是,简单地应用符合性预测在这种情况下不能提供可靠的预测,因为由损坏引起的分布偏移。为了考虑到分布偏移,我们假设可以访问特权信息(PI)。特权信息被形式化为解释分布偏移的附加特征,然而,它们仅在训练期间可用,在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题,并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明,我们的方法实现了有效的覆盖率,并构建了比现有方法更具信息性的预测,这些方法不受理论保证支持。
Jun, 2024
本文研究机器翻译的不确定性评估方法,发现目前大多数方法对模型不确定性的估计较低,建议采用分布自由的合规预测法来保证覆盖度,并提出条件合规预测技术来获得每个数据子组的校准子集,从而实现覆盖率均衡。
Jun, 2023
本文介绍一种基于分位数回归和树状结构分类器的符合性预测方法,可以有效解决多分类和多标签问题中难易样本分布不均匀、信心区间过大等挑战,且可以和任何分类模型结合使用并保证有效性。
Apr, 2020
通过引入得分函数的新定义和定义一组特殊的输入变量(conformal safety set),我们分析了可扩展分类器和一致预测之间的相似性,该安全集能够识别满足误差覆盖保证的输入空间模式,即在该集合中,观察到错误(可能不安全)标签的概率受到预定义的 ε 误差水平的限制。通过在网络安全中应用于识别 DNS 隧道攻击,我们展示了该框架的实际影响。我们的工作有助于发展概率稳健可靠的机器学习模型。
Mar, 2024