基于 PyTorch 的符合性预测库 TorchCP
概率鲁棒性调和的效果超过了标准的鲁棒性分类器和对抗性鲁棒性分类器,通过提供候选标签预测集合并对数据和扰动设定两个平行阈值,将概率鲁棒性调和引入到机器学习的不确定性量化框架中。
Jul, 2023
本研究利用信息论来将符合预测与其他不确定性概念相联系,并证明了三种不同的方法来上界内在不确定性,同时通过符合预测和信息论不等式的组合,实现了两种直接有用的应用:(i)更规范和有效的符合训练目标,从头开始实现机器学习模型的端到端训练,(ii)将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证,并证明了我们的理论结果能够转化为流行的符合预测方法的低效性(平均预测集大小)。
May, 2024
使用最新的神经网络验证方法,基于 VRCP(可验证鲁棒性适应预测)框架,本文提出了一种新的方法,用于恢复在遭受对抗攻击时的预测覆盖率保证,并支持任意范数的扰动和回归任务,实验结果表明,在图像分类和强化学习环境的回归任务中,VRCP 方法达到了超过标称覆盖率的结果,并且比目前最先进的方法更高效且信息量更丰富。
May, 2024
本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架,提出了一种新的基于概率方法的模型不确定性量化方法,并提供了可靠的边界用于计算不确定度。
Jun, 2023
本研究提出了一种名为邻域适应序列预测(NCP)的新算法,通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例,并根据它们的距离分配重要性权重,创建自适应预测集,从而提高使用 CP 进行深度分类器的不确定性量化的效率。
Mar, 2023
通过在设定的概率内构建小的预测集合,拟合预测集合可量化网络不确定性。本研究针对带有噪声标签的校准问题,引入了一种对标签噪声具有鲁棒性的拟合得分。通过使用带有噪声标签的数据和噪声水平估算出无噪声的拟合得分,并在测试阶段使用该得分形成预测集合。我们将该算法应用于几个标准医学图像分类数据集,发现我们的方法在预测集合的平均大小方面明显优于当前方法,同时保持所需的覆盖率。
May, 2024
基于对可信度预测 (CP) 的进展,我们提出了一种名为可信度预测编程 (CPP) 的方法,用于解决具有非线性约束函数和任意随机参数影响的机会约束优化问题 (CCO)。CPP 利用这些随机参数的样本和量化引理 (对于 CP 来说至关重要),将 CCO 问题转化为确定性优化问题。我们还通过两个容易处理的重构 CPP:(1) 将量化引理写成一个线性规划问题及其 KKT 条件 (CPP-KKT),(2) 使用混合整数规划 (CPP-MIP)。CPP 对 CCO 问题具有边际概率可行性保证,这与现有方法 (如样本近似和方案方法) 在概念上不同。虽然我们探讨了与样本近似方法的算法相似性,但我们强调 CPP 的优势在于它可以轻松扩展以包含不同的 CP 变体。为了说明这一点,我们提出了鲁棒可信度预测编程,以处理 CCO 问题中不确定参数的分布变化。
Feb, 2024