May, 2024

信息论视角下的符合预测

PDF
TL;DR本研究利用信息论来将符合预测与其他不确定性概念相联系，并证明了三种不同的方法来上界内在不确定性，同时通过符合预测和信息论不等式的组合，实现了两种直接有用的应用：（i）更规范和有效的符合训练目标，从头开始实现机器学习模型的端到端训练，（ii）将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证，并证明了我们的理论结果能够转化为流行的符合预测方法的低效性（平均预测集大小）。
conformal predictionuncertainty estimationinformation theoryconformal training objectivesmachine learning models
发现论文，激发创造
  • 一般化与信息化的合拟预测

    通过建立基础预测器的泛化性能与条件概率预测集成信息量之间的理论连接，本研究推导了一个上界，以便理解条件概率预测集的平均大小对校准数据量、目标可靠性和基础预测器的泛化性能的依赖关系。通过简单的数值回归和分类任务验证了理论洞察的有效性。

    Jan, 2024

  • 深度学习模型不确定性的置信度量化

    本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

    Jun, 2023

  • 稳定的共形预测集

    本论文将 CP 技术与经典算法稳定性界限相结合，提出了一种置信区间集合，可用单一模型拟合计算，并证明了该方法能够保证精度，避免了数据分割的需求，成功解决了传统方法无法处理连续未知变量 y_n+1 的瓶颈问题。

    Dec, 2021

  • 符合性预测：理论和新挑战的统一综述

    本文综述了关于符合预测的基本思想和新发展 —— 一种革新的无分布、非参数预测方法，基于最少的假设，能够以一种非常简单的方式得出在统计意义上的预测集，本文详细讨论了符合预测的理论基础，然后列举了原始思想的更高级的发展和适应方法。

    May, 2020

  • 数据异质性下的高效符合性预测

    一种对数据不可交换性建立了有效的置信区间的新方法，并在联邦学习中的数据异质性下构建了个性化预测集合，通过实验验证了该方法的有效性。

    Dec, 2023

  • 利用特权信息的健壮合拢预测

    我们开发了一种方法，用于生成预测集，其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测，这是一种强大的框架，用于构建在独立同分布假设下有效的预测集。重要的是，简单地应用符合性预测在这种情况下不能提供可靠的预测，因为由损坏引起的分布偏移。为了考虑到分布偏移，我们假设可以访问特权信息（PI）。特权信息被形式化为解释分布偏移的附加特征，然而，它们仅在训练期间可用，在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题，并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明，我们的方法实现了有效的覆盖率，并构建了比现有方法更具信息性的预测，这些方法不受理论保证支持。

    Jun, 2024

  • 可验证的强健拟合预测

    使用最新的神经网络验证方法，基于 VRCP（可验证鲁棒性适应预测）框架，本文提出了一种新的方法，用于恢复在遭受对抗攻击时的预测覆盖率保证，并支持任意范数的扰动和回归任务，实验结果表明，在图像分类和强化学习环境的回归任务中，VRCP 方法达到了超过标称覆盖率的结果，并且比目前最先进的方法更高效且信息量更丰富。

    May, 2024

  • 一个温和的介绍：拟合预测及无分布不确定性量化

    介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法， 称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

    Jul, 2021

  • 通过基于物理信息的结构因果模型实现鲁棒的分布偏移下的符合性预测

    通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界，我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。

    Mar, 2024

  • 符合性预测教程

    该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

    Jun, 2007