Jun, 2019

MixUp 作为定向对抗训练

PDF
TL;DR本文阐述了 MixUp 的工作机制，并介绍了与对抗训练有关的一类新型训练方案：方向对抗训练（DAT）。本文证明了 MixUp 等同于 DAT 的一个特殊子集。此理解有助于解释 MixUp 的有效性，并揭示了一族更为普遍的 MixUp 方案，我们称之为 Untied MixUp，证明了 Untied MixUp 的存在可以改善 MixUp 方案的效果。
mixupadversarial trainingdirectional adversarial traininglabeloptimization
发现论文，激发创造
  • MixUp 作为局部线性域外正则化

    本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”，并发现了其存在的 “manifold intrusion” 问题，提出了一种新的自适应正则化方法 AdaMixUp，并通过实验验证了 AdaMixUp 的优越性。

    Sep, 2018

  • 基于数据制图的预训练语言模型 MixUp 技术

    本文提出 TDMixUp 方法，利用训练动态，基于易于学习或模糊样本测量置信度、可变性、AUM 特征，让更具备信息量的样本相互插值，生成新样本，实验证明该方法不仅在较小的训练数据子集上取得竞争性能，而且在广泛的自然语言处理任务中，使用预训练语言模型 BERT 取得较低的期望校准误差。我们公开发布了我们的代码。

    May, 2022

  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • 混合样本如何提高模型鲁棒性和泛化性能？

    本文提供了理论分析，证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性，表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界，而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化，从而减少了过拟合。

    Oct, 2020

  • Mixup-Transformer：NLP 任务的动态数据增强

    本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

    Oct, 2020

  • 使用 Mixup 训练改进无监督领域自适应

    本论文研究了无监督域适应问题，提出了使用 mixup 公式在领域之间强制应用训练约束，并引入特征级一致性正则化器来促进跨域约束，有条件混合和领域对抗学习，显著提高了图像分类和人类活动识别的重要任务的最新表现。

    Jan, 2020

  • 混合样式训练数据依赖性研究

    本文探讨 Mixup 训练范例如何提高分类器对数据结构的适应性与推广性，并通过计算得出 Mixup 最优分类器的封闭形式，证明使用 Mixup loss 训练的分类器可能不会最小化数据的经验损失。此外，我们还给出了 Mixup 训练的广义条件和特定数据集上单一标准训练的数据分类器相同的证明。

    Oct, 2021

  • 混合推理：更好地利用混合策略来抵御对抗攻击

    这篇论文介绍了用 mixup 在训练深度神经网络以提高泛化性能和模型对抗干扰的鲁棒性，并通过 mixup 推理原则 MI 来利用全局线性行为主动防御对抗攻击，在 CIFAR-10 和 CIFAR-100 数据集上取得了良好效果。

    Sep, 2019

  • 关于 Mixup 正则化

    本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

    Jun, 2020

  • 数据插值预测: Mixup 的替代解释

    提出了 Data Interpolating Prediction（DIP）框架，将样本混合过程与分类器的假设类封装在一起，从而使训练和测试样本受到平等对待，进而帮助降低 Rademacher 复杂度并减少泛化误差。DIP 在实证上表现比 Mixup 更优。

    Jun, 2019