Mar, 2024

探索混合对抗训练中的双重 BN 技术

PDF
TL;DR在对抗训练中应用批归一化（BN）时存在越来越多的关注，尤其是当模型在对抗样本和干净样本上进行训练时（即混合式对抗训练）；本研究揭示了统计数据的分离对模型训练起到的作用较小，而分离仿射参数则起到了更大的作用；通过研究表明对抗样本与干净样本之间的领域差距较小，这与对抗扰动对模型准确性的显著影响不一致；我们进一步提出了一个双任务假设，作为混合式对抗训练改进的经验证据和统一框架；同时，我们还探讨了测试时的对偶 BN 并揭示仿射参数在推理过程中刻画了模型的鲁棒性，从而为我们理解混合式对抗训练中对偶 BN 的机制及其潜在的理论基础提供了新的视角。
batch normalizationadversarial trainingdual bndomain gapaffine parameters
发现论文，激发创造
  • 大规模对抗训练的有趣特性

    通过研究对抗训练的诊断要素，本文发现了两个有趣的性质：一是在对抗训练中批量归一化可能会阻碍网络获得强鲁棒性，而分别对训练集中的干净图片和对抗图片进行归一化可以提高鲁棒性；二是相较于传统分类任务，对抗学习对更深的网络层级有更高的需求，这一点可以通过增加网络容量来实现。

    Jun, 2019

  • 用于对抗鲁棒性的自适应批标准化网络

    通过自适应批归一化网络（ABNN）设计一种不基于对抗训练但仍然能够抵御强对抗攻击的防御方法，以提高对抗性鲁棒性并在图像和视频数据集上实现更高的清洁数据性能和显著降低训练时间复杂度。

    May, 2024

  • 实用域自适应的 Batch Normalization 重新审视

    本文提出了一种称为自适应批量归一化（AdaBN）的方法来提高深度神经网络的泛化能力，无需额外组件或参数，并证明其在领域适应任务和现有方法相结合时具有卓越的性能表现。

    Mar, 2016

  • 通过学习领域感知的批归一化实现测试时域自适应

    通过仅操作 BN 层以减少学习干扰和提高域知识学习，结合自我监督学习提供监督，以及使用元学习强制辅助分支与主分支目标对齐的双层优化，我们的方法在五个真实领域转移数据集上优于其他方法。

    Dec, 2023

  • 通过对抗性特征扰动实现对图像风格的编码稳健性

    通过对特征统计数据直接进行扰动，我们提出了 Adversarial Batch Normalization (AdvBN) 方法，它是一种单一的网络层，可以在训练期间生成最差情况下的特征扰动。通过在扰动的特征分布上对神经网络进行微调，我们观察到网络对各种不可见的分布偏移，包括样式变化和图像损坏，具有更好的鲁棒性。此外，我们证明我们提出的对抗性特征扰动可以与现有的图像空间数据增强方法互补，从而实现改进性能。

    Sep, 2020

  • 克服连续学习中规范化统计的新陈代谢偏见：平衡和适应

    持续学习在深度神经网络中的应用及其在适应性平衡方面的理论分析。通过提出适应性平衡的批归一化策略 (AdaB2N)，在各种基准测试中显著提高了性能。

    Oct, 2023

  • 批量归一化解释

    批量归一化是一种无监督的学习技术，它适应了深度神经网络的样条分区来匹配数据，缩小了训练样本和决策边界之间的边距，从而减少了过拟合，提高了泛化性能。

    Sep, 2022

  • 针对特定领域的批量归一化在无监督领域适应中的应用

    提出了一种基于领域特定批量归一化的深度神经网络的新型无监督领域自适应框架，其中包括估计目标领域示例的伪标签和使用多任务分类损失进行源和目标域的学习，实现了多源领域自适应场景的全面优化。

    May, 2019

  • 提高跨领域鲁棒性的补丁感知批量归一化

    本研究提出了一种新的批标准化方法（PBN），通过在空间维度上将批次的特征图拆分为不重叠的小块来独立归一化每个小块，从而利用图像局部块之间的差异来增强模型参数的鲁棒性，可以解决计算机视觉任务中，跨域数据的鲁棒性问题，包括分类，目标检测，实例检索和语义分割等任务。

    Apr, 2023

  • 批量归一化增加对抗性漏洞性并降低对抗性可传递性：一个非强健特征的视角

    本研究分析批量标准化在深度神经网络中的影响，提出通过分离鲁棒性和有效性来评估其对神经网络的贡献，并探究其对于特征鲁棒性的贡献程度以及其对于黑盒攻击的可重用性。

    Oct, 2020