拟合干扰攻击下的适应性推断的优点与挑战

ICMLMay, 2024

拟合干扰攻击下的适应性推断的优点与挑战

The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks

Ziquan Liu, Yufei Cui, Yan Yan, Yi Xu, Xiangyang Ji...

TL;DR在安全关键应用领域如医学成像和自动驾驶中，维持高的对抗鲁棒性以保护免受潜在对抗攻击的影响，并进行可靠的不确定性量化对于决策至关重要。本研究通过使用合规性预测 (CP) 方法，探究了深度学习模型的不确定性，同时深入研究了合规性预测在对抗防御中的表现。通过理论分析和实证研究，在改进合规性预测效能方面，我们提出了一种通过在对抗训练中优化 Beta 权重损失并使用熵最小化正则化器的 Uncertainty-Reducing AT (AT-UR) 方法。

Abstract

In safety-critical applications such as medical imaging and autonomous driving, where decisions have profound implications for patient health and road safety, it is imperative to maintain both high adversarial robustness to protect against potential adversarial attacks and reliable unc

adversarial robustness uncertainty quantification conformal prediction adversarial training image classification

发现论文，激发创造

深度学习模型不确定性的置信度量化

本文探讨了在深度神经网络中表示模型不确定性的 Conformal Prediction 框架，提出了一种新的基于概率方法的模型不确定性量化方法，并提供了可靠的边界用于计算不确定度。

Jun, 2023

信息论视角下的符合预测

本研究利用信息论来将符合预测与其他不确定性概念相联系，并证明了三种不同的方法来上界内在不确定性，同时通过符合预测和信息论不等式的组合，实现了两种直接有用的应用：（i）更规范和有效的符合训练目标，从头开始实现机器学习模型的端到端训练，（ii）将旁路信息纳入符合预测的自然机制。我们在集中式和联邦学习环境中进行了实证验证，并证明了我们的理论结果能够转化为流行的符合预测方法的低效性（平均预测集大小）。

May, 2024

概率鲁棒一致预测

概率鲁棒性调和的效果超过了标准的鲁棒性分类器和对抗性鲁棒性分类器，通过提供候选标签预测集合并对数据和扰动设定两个平行阈值，将概率鲁棒性调和引入到机器学习的不确定性量化框架中。

Jul, 2023

可验证的强健拟合预测

使用最新的神经网络验证方法，基于 VRCP（可验证鲁棒性适应预测）框架，本文提出了一种新的方法，用于恢复在遭受对抗攻击时的预测覆盖率保证，并支持任意范数的扰动和回归任务，实验结果表明，在图像分类和强化学习环境的回归任务中，VRCP 方法达到了超过标称覆盖率的结果，并且比目前最先进的方法更高效且信息量更丰富。

May, 2024

一般化与信息化的合拟预测

通过建立基础预测器的泛化性能与条件概率预测集成信息量之间的理论连接，本研究推导了一个上界，以便理解条件概率预测集的平均大小对校准数据量、目标可靠性和基础预测器的泛化性能的依赖关系。通过简单的数值回归和分类任务验证了理论洞察的有效性。

Jan, 2024

学习最优拟合分类器

本文探讨了在深度学习基础上进行置信区间预测的方法，并提出了一种基于置信区间训练的深度学习模型，该方法可有效地缩小置信边界，同时保证对医学诊断等高风险场景的准确性。

Oct, 2021

扩展对抗训练以应对大扰动界限

本文提出一种新的方法，通过 Oracle-Aligned Adversarial Training (OA-AT) 的方式来提高神经网络对抗攻击的鲁棒性，可以在大的扰动（如 L-inf bound 为 16/255 时）达到最先进的性能，同时在标准边界（8/255）也胜过现有的防御机制。

Oct, 2022

ConU: 具有正确性覆盖保证的大型语言模型中的符合不确定性

通过从预测集构建的置信度条件中整合正确性对齐的不确定性准则，本研究在自然语言生成任务中，将确定性预测转化为严格的理论保证，从而解决了最近大型语言模型中的异构不确定性问题，并利用抽样不确定性测量方法提高了先前最先进的方法。通过在模型的非固定答案分布中校准预测集，实现对 6 个大型语言模型在 4 个自由格式的自然语言生成数据集上的正确覆盖率的严格控制，证明了我们的方法在实际开放式自然语言生成应用中提供可靠保证的高效性。

Jun, 2024

通过基于物理信息的结构因果模型实现鲁棒的分布偏移下的符合性预测

通过使用物理信息的结构性因果模型 (PI-SCM) 来减小上界，我们验证了 PI-SCM 在置信水平和测试领域上对交通速度预测任务和多个真实世界数据集上的流行病传播任务的覆盖鲁棒性的提升。

Mar, 2024

利用扩展准许的级联推断实现高效的符合预测

该研究提出了一种新颖的 conformal prediction（CP）方法，通过找到一组有前途的预测候选项而不是单个预测，以适合许多开放式分类任务，实现包含正确答案的高概率且适用于自然语言处理和药物发现等多个应用领域，同时实现降低预测集的大小和费用摊销等效果。

Jul, 2020