Mar, 2024

用高斯平滑克服认证培训的悖论

PDF
TL;DR使用高於對手的準確度訓練神經網絡仍然是一個尚未解決的問題。本文通過理論和實驗，證明了高斯損失平滑方法可以改善這個問題，並提出一種結合 PGPE 和不同凸放松方法的訓練方法，使得得到的網絡優於同類型網絡的最先進方法。儘管計算成本仍然具有挑戰性，但本研究結果明確展示了高斯損失平滑在訓練可靠神經網絡中的潛力。
neural networkscertified accuracyadversarial examplesgaussian loss smoothingpgpe-based training
发现论文，激发创造
  • 可证明鲁棒性的随机平滑分类器的规则化训练和紧密认证

    本文研究了如何通过正则化风险函数以提高深度神经网络的准确性和稳健性，并提出了一种新的认证算法，能够对 CIFAR-10 和 ImageNet 数据集中的深度神经网络提供更严格的稳健性保证。

    Feb, 2020

  • 平滑分类器保证鲁棒性的一致性正则化

    研究表明随机平滑是一种有效的提高深度神经网络分类器准确度和 L2 / 高斯稳健性能的方法，并且在实验中也通过该方法显著地改善了已有的高斯稳健性能模型的准确性。

    Jun, 2020

  • 基于随机平滑的黑盒认证：一种基于函数优化的框架

    通过一种新的框架，使用非高斯噪声和更广泛类型的攻击来实现在深度学习中的认证鲁棒性，并且比之前的方法提供更好的认证结果和新的随机平滑方法的视角。

    Feb, 2020

  • 使用凸松弛进行认证训练会影响鲁棒性能

    本文介绍了在安全关键应用中，对抗攻击对部署最先进的分类器构成重大威胁；总体上，经验证的防御方法虽然具有鲁棒性保证，但是实践中的对抗训练比较受欢迎。我们系统性地比较了这两种鲁棒性训练方法在多个计算机视觉任务中的标准错误和鲁棒错误，结果表明，在大多数任务和威胁模型下，采用凸松弛的认证训练比采用对抗训练更容易带来标准错误和鲁棒错误。此外，我们还探讨了认证和对抗训练之间的错误差距如何依赖于威胁模型和数据分布，并且除了扰动预算外，我们还确定了扰动集的形状和数据分布的隐式边缘等重要因素。本文在合成和图像数据集上进行了大量消融实验，证明我们的观点。

    Jun, 2023

  • GSmooth: 通过广义随机光滑化证明对抗语义转换的鲁棒性

    本研究提出了广义随机平滑（GSmooth）理论框架及算法，通过新的维度扩增策略，可证明机器学习系统对普遍的语义转换是有稳健性的，采用基准测试的方法得到的结果显示了我们的方法非常有效。

    Jun, 2022

  • 随机平滑实现认证的对抗鲁棒性

    论文介绍了如何通过随机光滑化技术来提高分类器对抗扰动的鲁棒性，使用该方法得到的 ImageNet 分类器在扰动范围小于 0.5 的情况下，具有 49％的认证准确率，并且该方法在获得更高的认证准确率方面比其他方法更具优势。

    Feb, 2019

  • 认证的 PEFTSmoothing：具有随机平滑的参数高效微调

    通过使用 Parameter-Efficient Fine-Tuning（PEFT）方法，PEFTSmoothing 方法探索了一种使基础模型适应学习带有高斯噪声的数据的替代方式，证明了其在白盒和黑盒设置下的有效性和效率，可以为 CIFAR-10 上的 ViT 提供 98% 以上的准确性，比现有的去噪平滑方法高出 20%，在 ImageNet 上达到了 61% 的准确性，与基于 CNN 的去噪器相比高出 30%，与基于扩散的去噪器相媲美。

    Apr, 2024

  • 通过对抗训练平滑分类器实现可证明健壮的深度学习

    本文提出使用对抗训练来提高基于随机平滑的分类器的效果，并设计一种适应平滑分类器的攻击方法，通过大量实验，得出这种方法在 ImageNet 和 CIFAR-10 上的性能显著胜过所有现有的可证明的 L2 - 强健分类器，证明了这种方法是可靠的，且半监督学习和预训练能够进一步提高其效果。

    Jun, 2019

  • 增量再平滑：将差分隐私与认证鲁棒性相结合

    通过 DP-CERT 框架结合随机平滑技术和差分隐私模型训练，同时提供隐私和认证鲁棒性，从而在 CIFAR10 数据集上显著提高了模型的认证准确性和认证半径。

    Jun, 2023

  • 对抗性样本鲁棒性的半正定松弛证明

    本文提出了一种新的半定松弛办法，用于证明针对任意 ReLU 网络的鲁棒性，显示该松弛法比先前的松弛法更严格，并在三个不同的训练对象对我们的建议松弛法不感兴趣。

    Nov, 2018