形式风险控制
本论文提出一种非交换可行的符号风险控制框架,用于控制数据不可交换情况下的任意单调损失函数的期望值,并通过在测试示例中基于其统计相似性的权重选择,使得我们的框架在存在变化点、时间序列或其他形式的分布漂移时更有用。实验表明我们的方法的实用性。
Oct, 2023
我们扩展了标准的符合预测方法,开发了几种符合风险控制方法,并应用于不同的学习问题。本文中,我们致力于控制序列分类任务中的符合风险,该任务在许多实际问题中具有广泛应用。为此,我们首先在符合风险控制框架中对序列分类任务进行了规范,并提供了理论风险边界控制方法。然后,我们提出了两种特别设计用于序列分类任务的损失函数,并开发了相应的算法来确定每种情况的预测集,以便将其风险控制在所需的水平。我们展示了我们提出的方法的有效性,并分析了两种风险在三个不同数据集上的差异,包括模拟数据集、UTKFace 数据集和糖尿病视网膜病变检测数据集。
May, 2024
本文研究机器翻译的不确定性评估方法,发现目前大多数方法对模型不确定性的估计较低,建议采用分布自由的合规预测法来保证覆盖度,并提出条件合规预测技术来获得每个数据子组的校准子集,从而实现覆盖率均衡。
Jun, 2023
提出了一种名为局部一致性预测的新方法,它可以仅使用新测试样本周围的局部区域来构建置信区间,旨在将数据互换性打破为测试样本赋予特殊角色的情况下,推广了一致性预测方法,并证明了其假设无关与有限样本覆盖保证,并在模拟中比较了局部一致性预测和一致性预测的行为。
Aug, 2019
机器学习系统中风险量化与控制的研究,集中在处理 ML 系统收集自身数据时产生的数据分布变化问题,通过扩展 conformal prediction 理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
本研究探究了针对标签噪声的确定性估计方法 ——“conformal prediction” 的鲁棒性。通过理论证明和实验验证,提出了对于正确覆盖未观测噪声的基准真实标签,构建正确的不确定性集合的可能性和条件,并发现除了在数据分布或噪声源方面存在病态的特殊情况外,纠正标签噪声并不必要。在这种情况下,可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签,而无需直接调整得分或数据稳定性。
Sep, 2022
本文提出一种名为局部合规预测的新的推理框架,它通过提供围绕测试样本的局部区域的自适应构建的单次测试样本,以及与不同合规得分结构相结合,来推广合规预测的框架。该框架享有无假设的有限样本边际覆盖保证,并在适当的假设条件下提供额外的局部覆盖保证。我们展示了如何使用多个合规分数从合规预测变为局部合规预测,并通过数值实例说明了潜在的收益。
Jun, 2021