探究对抗鲁棒分类器的生成能力
该研究通过开发一种统一的概率框架 CEM,提供了关于 Adversarial Training(AT)的概率描述,并将其扩展到了无监督学习场景,提出了一种有原则的方法来开发对抗性学习和采样方法,实验表明,我们得到的采样方法提高了监督和无监督学习的样本质量。
Mar, 2022
本研究连接了利用对抗训练 (adversarial training,AT) 训练的鲁棒判别器和基于能量的生成模型 (Energy-based Models,EBM),通过分解判别器的损失并展示判别模型也能意识到输入数据密度实现。研究发现,令人惊讶的是,输入空间中未定向攻击点非常可能在判别分类器中隐藏的生成模型里 —— 即 EBM 中的能量非常低。我们展示了两个证据:未定向攻击比自然数据甚至更可能出现,当攻击强度增强时,它们的可能性也会增加。这使得我们能够轻松检测它们,并设计了一种名为 High-Energy PGD 的新型攻击方法,它能欺骗分类器但具有与数据集相似的能量。
Apr, 2023
本文提出了一种在生成对抗网络中产生直接能量估计样本的方法,并证明该方法不仅可以确保生成器收敛到真实数据分布,而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式,并分析其性质。为了使所提出的框架在实践中可训练,我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配,证明辨别器能够恢复数据分布的能量。
Feb, 2017
本文介绍了一系列训练技术来填补 JEM 的准确性和生成质量之间的差距,包括使用 SAM 框架来促进 JEM 能量景观的平滑性和泛化能力,将数据增强从 JEM 的最大似然估计管道中排除,并缓解数据增强对图像生成质量的负面影响。大量实验证明,我们的 SADA-JEM 在图像分类、图像生成、校准、外部分布检测和对抗鲁棒性方面均取得了突出表现,优于 JEM。
Sep, 2022
介绍了一种名为 “能量基生成对抗网络”(EBGAN)的模型,将判别器视为能量函数,用于选定数据流形附近区域的低能量和其他区域的高能量,可以使用多种体系结构和损失函数,本文采用自编码器架构,以重构误差作为能量,实现了高分辨率图像的生成。
Sep, 2016
提出了一个统一框架,利用图像到图像转换生成对抗网络 (GANs) 生成对抗性样本,以增强可解释性,并扩充数据集以提高对抗性鲁棒性。该框架通过将分类器和辨别器结合成一个单一模型,将真实图像归类为相应的类别,并将生成的图像标记为 “伪造”,以实现这一目标。在具体裂缝的语义分割任务中,评估了方法的有效性,并在水果缺陷检测问题上评估了模型对投影梯度下降 (PGD) 攻击的鲁棒性。我们生成的显著性地图具有很高的描述性,尽管仅在分类标签上进行训练,但与传统分割模型相比,其竞争性 IoU 值表现。此外,该模型对抗性攻击的鲁棒性得到了改善,并展示了辨别器的 “伪造” 值作为预测的不确定性度量。
Oct, 2023
本文研究了对抗扰动现象,并推导了任何分类函数的鲁棒性的基本上界,以及证明了存在跨不同分类器传递的具有小风险的对抗扰动。研究显示了生成模型的关键属性,如平滑性和潜在空间的维度,并提供了信息量大的鲁棒性基线。
Feb, 2018
我们研究了一种基于对抗训练的学习能量模型(EBMs)的新方法。我们发现二元对抗训练(AT)学习了一种特殊类型的能量函数,它建模了数据分布的支持,学习过程与基于 MCMC 的 EBMs 最大似然学习密切相关。我们进一步提出了用于 AT 的改进技术,并证明了这种新方法能够生成多样化和逼真的图像。除了具有与显式 EBMs 相比有竞争力的图像生成性能外,该研究方法易于稳定训练,特别适用于图像翻译任务,并展现了强大的对抗鲁棒性。我们的结果表明,AT 方法对于生成建模是可行的,suggesting,AT 是学习 EBMs 的竞争替代方法。
Dec, 2020
本文旨在探究深度贝叶斯分类器,该分类器利用有条件的深度生成模型来改善传统朴素贝叶斯方法,并针对对抗性样本开发检测方法,试验结果表明深度贝叶斯分类器具有更好的鲁棒性,而检测方法可有效抵御多种攻击。
Feb, 2018