CVPRMar, 2022

基于权重的二阶统计量增强对抗训练

PDF
TL;DR本文提出了一种称为 S²O 的 Second-Order Statistics Optimization 的方法，通过优化权重的二阶统计量，加强了对抗训练，从而提高了深度神经网络的鲁棒性和泛化能力；实验证明 S²O 方法不仅可以单独应用于提高模型性能，还可以与 TRADES、AWP、MART 和 AVMixup 等对抗训练技术集成，以获得更好的性能。
adversarial trainingrobustnessdeep neural networkssecond-order statistics optimizationpac-bayesian
发现论文，激发创造
  • 对抗鲁棒性和可解释性的二阶优化

    提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

    Sep, 2020

  • 深度学习可扩展的二阶优化

    本文尝试缩小理论优化与实际优化之间的差距，提出了一种可扩展的二阶预处理方法来优化深度模型，利用异构硬件架构进行训练，相比于常规一阶方法在机器翻译、语言建模、点击率预测和图像分类等任务中表现出优异的性能。

    Feb, 2020

  • 通过重新加权优化轨迹增强对抗训练

    本文提出了一种名为 WOT 的新方法，该方法利用对抗训练的历史优化轨迹，以改善在对抗攻击下的鲁棒性，并在多种最先进的对抗攻击中表现出高效性。

    Jun, 2023

  • 通过 Taylor 展开的随机对抗训练

    在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。

    Mar, 2023

  • SOAR: 二阶对抗正则化

    本文提出了一种新颖的正则化方法 SOAR，它是基于强健优化架构中内向最大值的 Taylor 近似推导的上界，实验证明其在对抗样本的生成和鲁棒性上能够显著提高深度神经网络的性能。

    Apr, 2020

  • 小批量处理对二阶优化器的泛化性能有所改善

    深度神经网络的训练对计算资源消耗较大，为了提高性能，机器学习科学家通常使用随机一阶及二阶优化方法，通过经验研究发现，训练中的批大小对方法的最大准确率有显著影响，并且二阶优化方法在特定批大小下表现出更低的方差，可能需要更少的超参数调整，从而减少了模型训练的总体时间。

    May, 2023

  • 快速与公平：机器学习中公平性的高效二阶鲁棒优化

    通过对抗训练技术来开发更公平的深度神经网络 (DNNs) 以减轻已知存在的固有偏见。我们提出了一个强大的优化问题，并证明这可以改进多个数据集的公平性，包括合成数据和真实世界数据，使用一个仿射线性模型。通过利用二阶信息，我们能够比纯一阶方法更高效地找到优化问题的解决方案。

    Jan, 2024

  • 基于 Hessian 感知的零阶优化黑盒对抗攻击

    本文提出了一个基于 Hessian 矩阵的零阶优化算法 ZO-HessAware，用于黑盒对抗攻击，该算法的实验证明在结构化 Hessian 逼近的情况下，具有更好的零阶收敛率和查询复杂度。

    Dec, 2018

  • 动态调整权重的锐度感知最小化

    本研究提出了 delta-SAM 算法来提高深度神经网络的泛化性能，通过动态重新赋权在每个 batch 中实现更强的对抗权重扰动以逼近更强的单实例扰动。

    Dec, 2021

  • 分布式鲁棒优化下的随机重新加权梯度下降

    本研究提出了一种基于 $f$-divergences 的分布式鲁棒最优化重加权梯度下降技术，通过数据点的重要性加权来提高深度神经网络的性能，该方案具有简单和高效等特点，可用于任何受欢迎的优化算法，并可在诸如分类、噪声标签、领域适应和表格表示学习等各种任务中提高性能。该方法在 DomainBed 和 Tabular 基准测试中的表现比 SOTA 提高了 0.7% 和 1.44%，对 GLUE 基准测试中的 BERT 表现提升了 1.94%，对 ImageNet-1K 中的 ViT 表现提升了 0.9%，证明了该方法的有效性和潜力。

    Jun, 2023