使用Lipschitz界限训练鲁棒神经网络
本文提出了一种良好条件的神经网络,通过控制 Lipschitz 常数来实现最大的鲁棒性,不需要任何对抗性训练,提高了对白盒有界 L2 对抗攻击的鲁棒性和对有噪声的部分随机标签数据的泛化能力,具有很强的实用性。
Feb, 2018
本文针对神经网络的稳健性和稳定性问题,提出了一种通用的训练方法,旨在使现有的神经网络架构更能够适应输入的视觉扰动,该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验,理论证据和实证结果证明,当使用该方法进行训练时,模型性能会显著提高,尤其是在噪声数据存在的情况下。
Nov, 2018
本文提出了一种基于凸优化框架和半定规划的方法,用于计算DNNs的Lipschitz常数的保证上界,通过描述激活函数的性质,使得算法具有较高的准确性和可伸缩性,实验证明该方法的Lipschitz边界最准确,可用于有效提供稳健性保证。
Jun, 2019
本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型, 并通过Lipschitz约束将对抗性稳健学习问题形式化为损失最小化问题,设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明,在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。
Jun, 2020
本研究提出了新的平衡神经网络参数化方法,该方法可以实现在训练期间的Lipschitz bound并提升强健性, 并通过建立与凸优化、非欧几里得空间上的算子分裂和收缩神经微分方程的新连接来证明这些结果,在图像分类实验中表现出非常高的准确性和抵御对抗性攻击的能力。
Oct, 2020
本文提出了一种训练算法插件,可以有效地减小神经网络的局部Lipschitz上界,以提高神经网络的自然精度和可证明的精度之间的权衡,并在MNIST、CIFAR-10和TinyImageNet数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]
Nov, 2021
通过用布尔函数表示方法,研究证明了标准Lipschitz网络无法在有限数据集和Lipschitz函数逼近上进行鲁棒分类。提出了一种新的Lipschitz网络方法并通过实验验证了鲁棒性。
Oct, 2022
通过开发一个鲁棒的训练算法和有效计算神经网络的Lipschitz常数的方法,可以直接操控输入空间的决策边界,提高深度分类器对抗性扰动的鲁棒性。在MNIST、CIFAR-10和Tiny-ImageNet数据集上的实验证实了该算法的竞争性改进。
Sep, 2023
通过探究Lipschitz连续性的概念,该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性,以对抗敌对攻击,在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法,将输入域重新映射到受限范围内,减小Lipschitz常数,从而提高鲁棒性。与现有的反对抗性训练模型不同,我们的方法几乎没有成本,可以与现有模型集成而无需重新训练。实验结果表明,我们的方法的普适性,可以与各种模型结合,实现鲁棒性的增强。此外,我们的方法在RobustBench排行榜上为CIFAR10、CIFAR100和ImageNet数据集实现了最佳鲁棒准确度。
Jun, 2024
本研究解决了神经网络在感知系统中对小规模干扰的敏感性问题,提出了使用利普希茨常数作为量化和增强网络鲁棒性的关键指标。通过分析网络架构与鲁棒性之间的关系,提供了理论基础和实践洞见,为开发更安全、更鲁棒的机器人学习系统奠定了基础。
Oct, 2024