ICLRFeb, 2023

领域对抗性训练的免费午餐：环境标签平滑

PDF
TL;DR通过引入环境标签平滑 (ELS) 方法，可以改善 Domain Adversarial Training (DAT) 训练的不稳定性并减少噪声对鉴别器的影响，从而提高模型的稳定性、收敛性和噪声鲁棒性，并在大范围的域泛化 / 适应性任务上取得了最新的成果。
发现论文，激发创造
  • 深入研究标签平滑

    本文研究了如何生成更可靠的软标签，提出了一种基于 Online Label Smoothing (OLS) 策略的方法，通过构建更合理的概率分布来监督深度神经网络；实验证明，该方法可以有效地提高 CIFAR-100，ImageNet 和细粒度数据集的分类性能，并显著提高 DNN 模型与嘈杂标签的鲁棒性。

    Nov, 2020

  • 标签平滑化提高领域内外文本对抗鲁棒性

    通过研究标签平滑策略在 NLP 领域不同任务中的应用，发现其可以有效地提高预训练模型的对抗鲁棒性，特别是在对抗攻击方面，并降低过度自信错误。

    Dec, 2022

  • 通过自适应标签平滑实现对话生成的多样化

    该研究提出了一种自适应标签平滑（AdaLabel）方法，可以在不同的上下文环境中自适应地估计目标标签分布，以产生多样化的神经对话生成模型，该模型利用轻量级双向解码器模块产生软目标分布，避免了过度训练，实现了一种端到端的训练方式。实验结果表明，该方法在产生多样性回应方面优于其他基线模型。

    May, 2021

  • 通过标签平滑实现对抗鲁棒性

    研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。

    Jun, 2019

  • 关于域对抗训练中平滑性的深入探究

    本文对平滑性增强公式对于领域对抗训练的影响进行了分析，发现通过对任务损失和对抗项的平滑最小值进行收敛来稳定对抗训练可以在目标领域获得更好的性能。作者介绍了 SDAT 过程，该过程有效地提高了现有领域对抗方法的性能，同时提供了 SGD 在领域对抗培训中广泛使用的洞见。

    Jun, 2022

  • 在嘈杂环境下实现准确且稳健的领域适应

    本文提出了一种使用离线课程学习和代理分布的边际差异方法来消除标签噪声和特征噪声的领域自适应算法，并将其无缝转化为一个对抗网络进行联合优化，在存在噪声的环境下，与现有技术相比取得了超过 10％的准确度提高。

    Apr, 2020

  • 结构标签平滑正则化

    本文研究标签平滑的结构化方法，通过对训练数据中真实标签进行软化处理，有助于避免过度自信的输出，提高神经网络泛化能力的同时，兼顾不同训练数据的特性，为机器学习领域中的正则化技术提供了一种有效的手段。实验结果表明，该方法在合成与各类真实数据集中均取得了较好的性能表现。

    Jan, 2020

  • 自知自明的自适应标签平滑在自然语言生成中的应用

    提出一种基于模型概率分布的标签平滑正则化方法，使每个样本的平滑程度都不同，从而在训练期间动态自我调整平滑程度，有效提高模型的泛化和校准性能。

    Oct, 2022

  • 有条件分布匹配和广义标签偏移的领域自适应

    本文提出了广义标签偏移（$GLS$）的假设来提高对不匹配标签分布的鲁棒性，在此基础上，提供了任何分类器的转移性能的理论保证，并且设计了估算相对类权重以及适当的样本重新加权的必要和充分条件。我们修改三个现有的域自适应 (DA) 算法（JAN，DANN 和 CDAN），评估它们在标准和人工 DA 任务上的性能，并且实验结果表明，在存在大的标签分布不匹配的情况下，我们算法的性能表现得到了显著的提高。

    Mar, 2020

  • 估计跨领域意图检测的软标签

    提出了自适应软伪标签 (ASoul) 方法，用于在训练 OOD 检测器时为伪 OOD 样本估计软标签。该方法通过嵌入图捕获伪 OOD 样本和 IND 意图之间的语义连接，并引入协同训练框架来产生结果软标签。在三个基准数据集上的大量实验证明 ASoul 不断改善 OOD 检测性能并优于各种竞争基线。

    Nov, 2022