May, 2024

具有半绑定反馈的随机在线一致预测

PDF
TL;DR通过修改模型输出一组标签而不是单个标签，符合预测已成为一种可行的不确定性量化策略。在在线学习设置中，我们考虑了半强盗反馈，其中只有在真实标签包含在预测集中时，我们才能观察到真实标签。我们提出了一种针对这种情况的新颖符合预测算法，并证明它相对于最优符合预测器具有亚线性遗憾。我们在检索任务和图像分类任务上评估了我们的算法，并且证明它在经验上获得了良好的性能。
发现论文，激发创造
  • 高效在线集合值分类与弱反馈

    提出了基于类别的可信区间预测方法（BCCP），旨在解决在线学习中带有强化学习反馈的困境，通过随机梯度下降训练模型并进行多值推断，以实现类别特定的可信区间覆盖保证，并扩展了可信区间预测在在线决策环境中的可靠性和适用性。

    May, 2024

  • 通过强适应在线学习改进在线置信预测

    研究在线情况下的不确定性量化问题，提出新的自适应后悔最小化算法用于在线共形预测，证明了该方法实现了近似最优的自适应后悔和适当的预测覆盖，同时在时间序列预测和图像分类等实际任务上对现有方法具有明显的优势。

    Feb, 2023

  • 符合性预测教程

    该论文介绍了通过使用过去的经验来确定新预测的置信水平的改造预测方法，该方法可以应用于任何生成标签预测的方法，并且包括一些数值示例。

    Jun, 2007

  • 模糊基准下的整形预测

    在安全关键的分类任务中，我们提出了一种适用于含有模糊标签的情况的 conformal prediction 框架，在 approximated 的标签的基础上通过近似输入的后验分布来进行不确定性的校准。我们在合成和真实数据集上验证了我们的方法，并在皮肤病学中患者条件分类的案例研究中进行了实证。

    Jul, 2023

  • 共形在线模型聚合

    这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

    Mar, 2024

  • 预测一致性对标签噪声具有鲁棒性

    本研究探究了针对标签噪声的确定性估计方法 ——“conformal prediction” 的鲁棒性。通过理论证明和实验验证，提出了对于正确覆盖未观测噪声的基准真实标签，构建正确的不确定性集合的可能性和条件，并发现除了在数据分布或噪声源方面存在病态的特殊情况外，纠正标签噪声并不必要。在这种情况下，可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签，而无需直接调整得分或数据稳定性。

    Sep, 2022

  • 部分标记数据下的共形预测

    本文提出了一种改进的 conformal prediction 算法，用于处理集合值培训和校准数据，在实验中表现优异。

    Jun, 2023

  • 带有噪声标签的自适应适合性分类

    该研究开发了新的遵循性预测方法，用于分类任务，可以自动适应标签污染，实现比现有方法更具信息量的预测集，并提供更强的覆盖保证。通过对标签污染下标准遵循性推断所面临的准确理论特征进行精确刻画，并通过新的校准算法实施行动。我们的解决方法灵活，并且可以利用关于标签污染过程的不同建模假设，同时无需关于数据分布或机器学习分类器内部工作的任何知识。通过广泛的模拟实验和对 CIFAR-10H 图像数据集的对象分类应用来证明了所提出方法的优势。

    Sep, 2023

  • 辅助任务下的 Few-shot Conformal Prediction

    本文提出了一种基于元学习范式的公式化算法，用于在训练数据有限的情况下进行一致性预测，能够在保持理想边际效应的同时，大幅缩小预测集，该算法具有通用性，适用于自然语言处理、计算机视觉和药物发现等多个领域的少样本分类和回归任务。

    Feb, 2021

  • 基于一致预测集的人类决策改善

    在这项研究中，我们通过进行一项预先注册的随机对照试验，提供给人类被试一些确定度集合，从而研究了确定度集合对人类决策的辅助作用。结果表明，使用确定度集合来量化模型的不确定性对于人机合作决策和人工智能团队非常有帮助。

    Jan, 2024