鲁棒而高效的符合预测集
研究在未知扰动集合情况下,通过与攻击者的交互或访问攻击预测器来学习对抗性示例下的鲁棒性预测器问题,并考虑不同交互模型,对预测器假设类的VC和Littlestone维度进行样本复杂度上界,以及所需交互或成功攻击次数的上下界,无需对扰动集合进行任何假设。
Feb, 2021
本研究探究了针对标签噪声的确定性估计方法——“conformal prediction”的鲁棒性。通过理论证明和实验验证,提出了对于正确覆盖未观测噪声的基准真实标签,构建正确的不确定性集合的可能性和条件,并发现除了在数据分布或噪声源方面存在病态的特殊情况外,纠正标签噪声并不必要。在这种情况下,可以在确定性预测算法中纠正有界大小的噪声以确保正确覆盖基准真实标签,而无需直接调整得分或数据稳定性。
Sep, 2022
概率鲁棒性调和的效果超过了标准的鲁棒性分类器和对抗性鲁棒性分类器,通过提供候选标签预测集合并对数据和扰动设定两个平行阈值,将概率鲁棒性调和引入到机器学习的不确定性量化框架中。
Jul, 2023
通过考虑认证模型的潜在输出空间,本研究提出了两种改进认证机制分析的独特方法,可以提供数据集独立和数据集相关的认证性能度量,从而使认证半径相对于现有技术能够提高一倍以上。经验证,我们的新方法能够在噪声尺度$σ = 1$下认证比以往多9%的样本,并且随着预测任务的难度增加,观察到更大的相对改进。
Sep, 2023
该研究提出了一种名为RSCP+的新框架,用于在评估中提供可靠的鲁棒性保证,同时提出了两种新的方法PTT和RCT,以减少预测集大小并提供实际的鲁棒性保证。
Apr, 2024
在安全关键应用领域如医学成像和自动驾驶中,维持高的对抗鲁棒性以保护免受潜在对抗攻击的影响,并进行可靠的不确定性量化对于决策至关重要。本研究通过使用合规性预测 (CP) 方法,探究了深度学习模型的不确定性,同时深入研究了合规性预测在对抗防御中的表现。通过理论分析和实证研究,在改进合规性预测效能方面,我们提出了一种通过在对抗训练中优化 Beta 权重损失并使用熵最小化正则化器的 Uncertainty-Reducing AT (AT-UR) 方法。
May, 2024
通过对局部化数据分布的理解,提出了一种基于几何形态的简单分类器 Box-NN,并在 MNIST 和 Fashion-MNIST 数据集上取得了对于稀疏攻击的认证稳健性方面的最新研究成果。
May, 2024
使用最新的神经网络验证方法,基于VRCP(可验证鲁棒性适应预测)框架,本文提出了一种新的方法,用于恢复在遭受对抗攻击时的预测覆盖率保证,并支持任意范数的扰动和回归任务,实验结果表明,在图像分类和强化学习环境的回归任务中,VRCP方法达到了超过标称覆盖率的结果,并且比目前最先进的方法更高效且信息量更丰富。
May, 2024
我们开发了一种方法,用于生成预测集,其覆盖率在训练数据中存在缺失或噪声变量等损坏情况下是健壮的。我们的方法基于符合性预测,这是一种强大的框架,用于构建在独立同分布假设下有效的预测集。重要的是,简单地应用符合性预测在这种情况下不能提供可靠的预测,因为由损坏引起的分布偏移。为了考虑到分布偏移,我们假设可以访问特权信息(PI)。特权信息被形式化为解释分布偏移的附加特征,然而,它们仅在训练期间可用,在测试时不可用。我们通过引入一种新的加权符合性预测的广义方法来解决这个问题,并支持我们的方法具有理论上的覆盖率保证。在真实数据集和合成数据集上的实证实验表明,我们的方法实现了有效的覆盖率,并构建了比现有方法更具信息性的预测,这些方法不受理论保证支持。
Jun, 2024
在数据污染情况下,我们研究了分割型拟合预测的鲁棒性,并通过数值实验验证了这一结果。此外,我们提出了一种称为污染鲁棒拟合预测的调整方法,使用合成和真实数据集验证了我们方法的效力。
Jul, 2024