分布式不确定性量化的联邦一致预测器

ICMLMay, 2023

分布式不确定性量化的联邦一致预测器

Federated Conformal Predictors for Distributed Uncertainty Quantification

Charles Lu, Yaodong Yu, Sai Praneeth Karimireddy, Michael I. Jordan, Ramesh Raskar

TL;DR本文将拟合预测应用于联邦学习环境，解决了数据异构问题，并提出了适用于联邦学习的局部可交换性概念，从而开发了联邦拟合预测框架（FCP）。实验证明该框架在计算机视觉和医学图像数据集上具有严格的理论保证和良好的经验性能，提供了在分布式和异构环境中结合有意义的不确定性量化的实用方法。

Abstract

conformal prediction is emerging as a popular paradigm for providing rigorous uncertainty quantification in machine learning since it can be easily applied as a post-processing step to already trained models. In

conformal prediction federated learning data heterogeneity partial exchangeability uncertainty quantification

发现论文，激发创造

标记偏移下联邦不确定性量化的共形预测

开发了一种新的基于分位数回归的联邦拟合预测方法，考虑到了隐私约束。这种方法利用重要性加权有效地解决了代理之间的标签偏移，并为预测集的有效覆盖和差分隐私提供了理论保证。广泛的实验研究表明，这种方法优于目前的竞争对手。

Jun, 2023

具有可证明的拜占庭鲁棒性的联邦共形预测

在分布式数据样本中，介绍了 Rob-FCP 框架用于对付具有恶意客户端的鲁棒联邦一致性预测，理论上证明了 Rob-FCP 的一致性覆盖界限，并展示了 Rob-FCP 在拜占庭场景下与期望覆盖水平渐近接近，同时提出了一个用于估计恶意客户端数量的方法，在多种拜占庭攻击下，在五个标准基准和实际医疗数据集上经验证明了 Rob-FCP 的鲁棒性。

Jun, 2024

基于置信区间预测的无分布式偏差联邦学习

该研究提出将自适应拟合框架结合到联邦学习中，确保预测集的分布自由且提供覆盖担保，可在不需要对模型进行任何其他修改的情况下获得不确定性估计，实验证明本方法在医学影像分类任务中取得了更佳的覆盖度。

Oct, 2021

数据异质性下的高效符合性预测

一种对数据不可交换性建立了有效的置信区间的新方法，并在联邦学习中的数据异质性下构建了个性化预测集合，通过实验验证了该方法的有效性。

Dec, 2023

通过符合预测，在无线信道上进行可靠的不确定性量化的联邦推理

通过无线通信的设备到服务器的信息交流，提高服务器对新输入进行推断决策的准确性，在有限的通信资源和 / 或大量设备的环境下，无线联合共测性预测 (WFCP) 相对于现有的数字实现具有显著优势。

Aug, 2023

深度学习模型不确定性的置信度量化

本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Jun, 2023

一个温和的介绍：拟合预测及无分布不确定性量化

介绍一种无需分布假设或模型假设，可用于任何预训练模型（如神经网络）生成 100% 正确性置信区间（信赖区间）的方法，称之为一致预测；并提供了 Python 示例代码和 Jupyter 笔记本来说明此方法在计算机视觉、自然语言处理和深度强化学习等领域上的应用。

Jul, 2021

超越交换性的合拍预测

本文提出一种新的针对预测模型的 Conformal prediction 泛化方法，通过引入加权分位数来抵御数据分布漂移的影响，同时设计一种新的随机化技术，允许不对称处理数据点的算法。实验表明，该方法在数据点不可交换的情况下具有较高的鲁棒性，并且在数据点可交换情况下达到了与现有方法相同的覆盖率保证。

Feb, 2022

共形在线模型聚合

这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。

Mar, 2024

机器学习中有效不确定性量化的共形预测方法的比较研究

过去几十年，数据分析和机器学习领域的大部分工作都致力于优化预测模型，并取得比现有模型更好的结果。然而，本文指出对于很多应用而言，更加重要的并非准确的预测，而是变异性或不确定性。本文进一步探讨了让每个人了解不确定性、意识到其重要性并学会拥抱而不是害怕不确定性的世界，对一种确定性估计准确性的具体框架 —— 被称为 “符合性预测” 的框架进行了细致研究。而且，无需对数据进行参数假设，这一非参数结果在渐近程度上也不必依赖大数定律，使得这个框架成为唯一值得称为 “无分布假设” 的框架。

May, 2024