生成性人工智能的自适应不确定性量化
本文提出了一种自适应的线上学习方法 - 自适应符合推断方法,该方法结合了预测集和符合推断的思想,能够在任何黑箱模型中实现长时间内预期的覆盖概率,从而解决了数据变化扰动的问题。
Jun, 2021
介绍了一种基于本地模型性能的条件密度估计模型的本地conformal方法MD-split ,可用于复杂的现实世界数据设置,用于确定X分区,并与其他本地conformal方法进行比较。
Jul, 2021
在安全关键的分类任务中,我们提出了一种适用于含有模糊标签的情况的conformal prediction框架,在approximated的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法,并在皮肤病学中患者条件分类的案例研究中进行了实证。
Jul, 2023
通过进行全面的实验和比较性能分析,我们研究了皮肤病变分类任务中三种不确定性量化方法:Conformal Prediction、Monte Carlo Dropout和Evidential Deep Learning,发现Conformal Prediction在各种条件下表现出的鲁棒性和一致性,使其成为安全关键应用中决策的首选。
Dec, 2023
提供一种新的方法,用于校准具有局部覆盖保证的回归问题的预测区间,该方法基于训练回归树和随机森林的合规得分创建最粗糙的特征空间划分,适用于各种合规得分和预测设置,且在模拟和实际数据集中表现出比现有基准更优的可扩展性和性能。
Feb, 2024
机器学习系统中风险量化与控制的研究,集中在处理ML系统收集自身数据时产生的数据分布变化问题,通过扩展conformal prediction理论以适应任意数据分布,并提出了针对特定数据分布的可行算法,以解决这一挑战。
May, 2024
引入了一种符合性推断方法以评估分类中的不确定性,通过生成具有有效覆盖率的预测集,并在自适应选择的特征上进行。这些特征经过精选以反映潜在的模型限制或偏差,有助于在提供有信息的预测的同时,在最敏感的群体中确保平等的覆盖率,从而找到实践上的一个妥协点。我们通过模拟和真实数据集展示了此方法的有效性和准确性。
May, 2024
本研究解决了传统保形预测在时间序列及其他结构化数据中因数据生成分布不具可交换性而失效的问题。提出的适应性保形推断(ACI)方法虽然声称使用保形预测,但实际上也能利用更简单的置信预测器进行有效操作。研究发现,置信预测器在某些情况下的性能与保形预测器相当甚至更优,提示未来研究需探讨不同方法的适用场景。
Sep, 2024
该研究解决了保形预测在时间序列和结构化数据中的有效性问题,提出自适应保形推断(ACI)作为一种动态调整显著性水平的方法。研究表明,尽管ACI强调保形预测,但实际上更灵活地适用于信心预测,并发现信心预测在某些情况下表现不逊色于保形预测。
Sep, 2024
本研究解决了在复杂分布和有限样本情况下,概率顺应预测(PCP)覆盖效率不足的问题。作者提出了一种新颖的PCP框架,通过向量化非顺应性分数并优化预测集形状,显著提高了效率。实验表明,该方法在合成和真实数据集上均表现出色,尤其适合高风险应用。
Oct, 2024