Apr, 2020

SOAR: 二阶对抗正则化

PDF
TL;DR本文提出了一种新颖的正则化方法 SOAR，它是基于强健优化架构中内向最大值的 Taylor 近似推导的上界，实验证明其在对抗样本的生成和鲁棒性上能够显著提高深度神经网络的性能。
发现论文，激发创造
  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 基于 Fisher-Rao 范式的正则化提升对抗训练

    以模型复杂性为视角解决对抗训练中标准泛化性能的下降问题，通过使用 Logit-Oriented Adversarial Training (LOAT) 提出了一种新的正则化框架，可以在几乎不增加计算开销的情况下平衡鲁棒性与准确性，提高对抗性训练算法的性能。

    Mar, 2024

  • 通过结构化梯度正则化进行对抗性鲁棒性训练

    本文提出了一种新的数据依赖性结构化梯度正则化器，旨在增加神经网络对抗扰动的鲁棒性，该正则化器可以从第一原理中导出。实验证据表明，结构化梯度正则化是对抗低水平信号污染攻击的有效一线防御。

    May, 2018

  • 局部线性化对抗鲁棒性

    本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

    Jul, 2019

  • 异常鲁棒性对抗训练

    基于异常值健壮的对抗训练（ORAT）是在传统健壮学习方法和最近的对抗训练方法的基础上开发的，以同时处理低质量训练数据和推理时的敌对攻击，并在三个基准数据集上展示了其有效性和鲁棒性。

    Sep, 2023

  • 认证鲁棒神经网络：泛化和抗污染性

    通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

    Mar, 2023

  • 基于权重的二阶统计量增强对抗训练

    本文提出了一种称为 S²O 的 Second-Order Statistics Optimization 的方法，通过优化权重的二阶统计量，加强了对抗训练，从而提高了深度神经网络的鲁棒性和泛化能力；实验证明 S²O 方法不仅可以单独应用于提高模型性能，还可以与 TRADES、AWP、MART 和 AVMixup 等对抗训练技术集成，以获得更好的性能。

    Mar, 2022

  • 深度神经网络对抗鲁棒性正则化的研究

    本文研究了神经网络建模的正则化视角，通过将模型向分类决策边界的平滑变化进行防御，使其尽可能不改变预测结果，但会导致预测结果的置信度下降，这种正则化方法要避免性能下降。

    Nov, 2020

  • SOAR：改进的近似最近邻搜索索引化

    SOAR 是一种新的数据索引技术，用于近似最近邻搜索。它通过使用正交扩增残差损失来优化每个表示，从而提高索引质量，同时保持快速索引时间和低内存消耗，从而获得最先进的 ANN 基准性能。

    Mar, 2024

  • 鲁邦生存分析的对抗正则化

    利用神经网络验证和对抗正则化的新算法，提出了一种稳健的参数生存模型，以解决生存分析中的数据不确定性问题，并通过实验证明对抗正则化可以提高性能。

    Dec, 2023