Feb, 2020

广义 Lipschitz 正则化等于分布式健壮性

PDF
TL;DR探讨关于对抗性样本的问题，提出一种基于运输成本不确定性集合的正则化方法，实现了对 Lipschitz 正则化模型的稳健性证明，揭示了对抗学习和分布鲁棒性之间的联系，并提供了对核分类器的 Lipschitz 正则化方法。
adversarial examplesregularisationdistributional robustnesslipschitz-regularised modelkernel classifiers
发现论文，激发创造
  • 使用带有铰链正则化的最优输运实现分类鲁棒性

    利用最优传输的 Kantorovich- Rubinstein 对偶公式的铰链正则化版本，提出了一个新的框架来学习 1-Lipschitz 神经网络，并在此基础上进行分类。该方法能够提高网络的鲁棒性、具有可验证的鲁棒性边界，并在不降低准确度的前提下解决了这一问题。

    Jun, 2020

  • 利普希茨正则化深度神经网络的泛化性能和防御对抗攻击能力

    本文研究了深度神经网络的输入梯度正则化，并证明了这种正则化可以导致泛化证明和改进的对抗性稳健性。通过将对抗训练与 Lipschitz 正则化相结合，可以使模型更加稳健，并且可以使用图像的梯度范数进行攻击检测。

    Aug, 2018

  • 强化学习中的分布鲁棒性和正则化

    本文介绍了一种新的 Wasserstein 分布强化学习框架，并将其与正则化相联系，从而为解决强化学习中的外部不确定性问题提供一个新的实用工具。

    Mar, 2020

  • 全局 - 局部正则化的分布鲁棒性

    本文提出一种基于 Wasserstein 的分布鲁棒性优化方法，旨在通过同时应用本地和全局正则化，将原始分布与最具挑战性的分布相结合，提高模型的建模能力，解决深度神经网络在实际应用中对抗性示例和分布偏移等问题。实验结果表明，该方法在半监督学习、领域适应、领域泛化和对抗机器学习等各领域中均明显优于现有的正则化方法。

    Mar, 2022

  • 利普希茨界和拉普拉斯平滑法可证明的鲁棒训练

    本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明，在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。

    Jun, 2020

  • 质量传输正则化

    本文提出了使用分布式鲁邦优化的思想来作为正则化技术以及对现有技术提供新的概率解释。通过选择半径，可以保证最坏情况下的预期损失提供了对测试数据的上限置信度，从而提供新的泛化界限。

    Oct, 2017

  • 通过有原则的对抗训练证明一些分布鲁棒性

    利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题，通过在 Wasserstein ball 内惩罚扰动数据分布的方式，通过我们提出的训练过程，能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性，同时具有较小的计算和统计成本，并且我们的统计保证使我们能够有效地验证整体损失的健壮性，对于感知扰动，我们的方法与启发式方法相匹配或更好。

    Oct, 2017

  • 分类器对抗性攻击鲁棒性的正式保证

    该研究针对分类器的脆弱性进行讨论，提出 Cross-Lipschitz 正则化函数可提高分类器对抗攻击的鲁棒性，并给出了实例具体的下界。在不影响分类性能的情况下，使用该正则化函数可以提高核方法和神经网络的鲁棒性。

    May, 2017

  • 分布对抗损失

    对抗攻击的一个主要挑战是可能的攻击方法的庞大空间，本研究引入了一种称为分布对抗损失的新概念，旨在统一随机平滑和输入离散化两种有效削弱攻击者影响的方法。我们证明我们的概念具有 VC 维度和每个输入关联的允许对抗分布集合的大小方面的泛化保证，并通过实验证实该过程，改进了模型对各种对抗攻击的鲁棒性。

    Jun, 2024

  • 通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

    通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

    Sep, 2023