关于域对抗训练中平滑性的深入探究

ICMLJun, 2022

关于域对抗训练中平滑性的深入探究

A Closer Look at Smoothness in Domain Adversarial Training

Harsh Rangwani, Sumukh K Aithal, Mayank Mishra, Arihant Jain, R. Venkatesh Babu

TL;DR本文对平滑性增强公式对于领域对抗训练的影响进行了分析，发现通过对任务损失和对抗项的平滑最小值进行收敛来稳定对抗训练可以在目标领域获得更好的性能。作者介绍了 SDAT 过程，该过程有效地提高了现有领域对抗方法的性能，同时提供了 SGD 在领域对抗培训中广泛使用的洞见。

Abstract

domain adversarial training has been ubiquitous for achieving invariant representations and is used widely for various domain adaptation tasks. In recent times, methods converging to smooth optima have shown improved generalization for supervised learning tasks like classification. In

domain adversarial training smoothness enhancing formulations task loss adversarial loss smooth domain adversarial training

发现论文，激发创造

面向领域的对抗性训练：博弈视角

本文从博弈论的角度解释了域自适应训练中学习不变表示的支配性思路，并将梯度下降的优化器替换成高阶 ODE 求解器，为此得出渐近收敛保证。实验结果表明，与标准优化器相比，使用我们的优化器能够在半数训练迭代次数内，与最先进的域自适应方法相结合实现 3.5％的性能提升。

Feb, 2022

SAT: 基于课程的损失平滑改进对抗训练

本文提出了一种平滑对抗训练方法 (SAT)，它利用课程学习的思想对对抗训练过程进行平滑处理，提高了对抗训练的稳定性并在干净精度与鲁棒性之间实现了更好的权衡，具体方法基于海森矩阵的特征值以及 softmax 概率，实验结果显示该方法在 CIFAR-100 和 Imagenette 数据集上比 AT 方法显著提升了干净度与鲁棒度。

Mar, 2020

通过领域适应来提高对抗训练的泛化能力

该论文提出了一种新的对抗训练方法 ATDA，采用有限数量的目标域样本进行域自适应，以提高模型的泛化性，经过实证研究，该方法在标准基准数据集上的性能优于现有方法。同时，扩展到迭代攻击的对抗训练也取得了显著的进展。

Oct, 2018

领域对抗性训练的免费午餐：环境标签平滑

通过引入环境标签平滑 (ELS) 方法，可以改善 Domain Adversarial Training (DAT) 训练的不稳定性并减少噪声对鉴别器的影响，从而提高模型的稳定性、收敛性和噪声鲁棒性，并在大范围的域泛化 / 适应性任务上取得了最新的成果。

Feb, 2023

判别式对抗领域自适应

提出了一种基于判别式对抗领域适应 (DADA) 的新型对抗学习方法，其鼓励在输入实例的任何情况下，类别和域预测之间存在相互抑制关系，以解决现有方法中任务和域分类器相互独立导致的收敛问题，该方法能够在实际条件下定义一个最小极值博弈，促进联合分布对齐。除传统的闭集领域适应以外，还将 DADA 扩展到部分和开放集领域适应的极具挑战性的问题设置中，在基准数据集上实验表明了该方法的有效性并达到了三个场景下的最新成果。

Nov, 2019

关于不变性学习和对抗训练与超出分布泛化的联系

本文探究一种基于对抗训练的深度学习模型方法，称为 Domainwise Adversarial Training (DAT)，来解决深度学习模型在广义分布中失败的问题，该方法借鉴了 Invariant Risk Minimization (IRM) 和 Adversarial Training (AT) 方法，并通过实验证明，我们提出的 DAT 方法在解决不同广义分布转移方案上表现均可。

Dec, 2022

对抗式判别领域自适应

本文介绍了对抗学习的方法能够通过一般化的视角更好地理解前面的方法，并提出了一个新的对抗判别域自适应框架，称为 ADDA，它将判别建模、解除权重共享和 GAN 损失结合在一起，优于竞争的域对抗方法，且在标准的跨域数字分类任务和一种新的更难的跨模态物体分类任务中超越了最新的无监督适应结果。

Feb, 2017

神经网络的领域对抗性训练

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015

特定领域自对抗解缠

本文提出了一种新的自解耦框架 (SAD) 以实现特定领域的适应。使用一个领域关键字创建器和自对抗正则化器，将潜在表示分解为特定领域和不变领域特征，从而减缓了领域内差距，并取得了在目标检测和语义分割等领域中超越现有最先进方法的一致改进。

Aug, 2021

通过自适应逐实例损失平滑提升对抗训练

通过对输入进行敌对扰动（即人类感知不到的人工噪音），深度神经网络容易产生错误预测。迄今为止，敌对训练已成为对抗性攻击最成功的防御方式。本文聚焦于改进敌对训练以提高对抗性强度，提出了一种新的敌对训练方法 ISEAT，它通过自适应、实例特定的方式同时平滑输入和权重损失景观以增强鲁棒性，证明与现有防御方法相比，该方法具有显著的优越性。

Mar, 2023