谨慎深度学习
介绍了一种修改分类器以输出包含真实标签的预测集的算法，该算法可定量衡量分类器的不确定性，是一种简单且快速的方法，并且与现有技术相比，在保证覆盖率的同时可以实现更小的预测集。
Sep, 2020
本文提出了一种广义的拟合的预测集来解决多可学习参数，通过考虑找到最有效的预测集的约束经验风险最小化问题，从而实现有效的经验覆盖。同时，本文还开发了一种基于梯度的算法来优化这个ERM问题以近似有效的覆盖和最优效率。
Feb, 2022
本文提出了一种称为聚类置信预测的方法，该方法通过聚类类，将具有“相似”信心得分的类聚合在一起，然后在聚类水平上执行置信预测，进行分类问题中的更强的置信度验证, 应用于多分类图像数据集中表现更加优秀。
Jun, 2023
本文利用大规模数据集和模型对多种conformal方法和神经网络家族的性能进行了实际评估，证明了这些方法在分布转移和长尾设置下的性能严重下降，需要了解这些方法的局限性以在实际应用和安全关键应用中部署
Jul, 2023
通过理论和实验，本文证明了无视概率值可以减轻在conformal prediction中概率值失配所导致的大预测集的不良影响。然后，提出了一种名为“Sorted Adaptive prediction sets” (SAPS)的新算法，其丢弃除最大softmax概率以外的所有概率值，以最小化非符合度分数对概率值的依赖，同时保留不确定性信息，从而生成小型集合并传达逐个实例的不确定性。在理论上，提供了SAPS的有限样本覆盖保证，并证明了SAPS的预期集合大小始终小于APS。广泛的实验验证了SAPS不仅减小了预测集，还显著提高了预测集的条件覆盖率和适应性。
Oct, 2023
在高风险领域中部署深度神经网络时，由于缺乏可解释性，不确定性量化变得具有挑战性。本文通过大规模预注册实验，比较了使用符合性预测集合与Top-1和Top-k预测展示相比在AI辅助图像标注中表现的优势，并发现对易任务来说，预测集合与Top-1和Top-k展示的准确性相当或略少，但在标记超出分布范围的图像时，特别是当集合大小较小时，预测集合能够卓越地帮助人类进行标注。研究结果从实证角度指出符合性预测集合的实际挑战，并提供了将其纳入实际决策制定的启示。
Jan, 2024
本文关注条件保证的合拟合预测问题，并提出了采用从校准数据中学习的不确定性引导特征来改进预测集的条件有效性的分区学习合拟合预测（PLCP）框架。我们在理论上分析了PLCP，并对无限和有限样本大小提供了条件保证。最后，我们在四个真实世界和人工合成数据集上的实验证明了PLCP在分类和回归场景中相对于最先进方法在覆盖率和长度方面的卓越表现。
Apr, 2024
利用证据一致性预测方法（ECP）为图像分类器生成一致性预测集，通过基于非一致性评分函数，利用目标标签的对数几率值推导出的证据计算非一致性评分函数的组成部分：一致性预测中的不确定性启发式概念、不确定性惊喜度和期望效用，实验评估结果证明，ECP在生成一致性预测集方面优于三种先进方法，同时保持了对真实标签的覆盖。
Jun, 2024
本研究解决了标准符合预测在有限样本中无法实现精确无分布条件覆盖的问题。我们提出了一种新型符合预测算法，重点关注分类器在错误预测中过于自信的情况，并通过增加条件覆盖的变量来改善预测的有效性。实验证明，我们的方法在多个图像数据集上显著提高了条件覆盖的性能。
Jan, 2025