ICLRSep, 2019

混合推理：更好地利用混合策略来抵御对抗攻击

PDF
TL;DR这篇论文介绍了用 mixup 在训练深度神经网络以提高泛化性能和模型对抗干扰的鲁棒性，并通过 mixup 推理原则 MI 来利用全局线性行为主动防御对抗攻击，在 CIFAR-10 和 CIFAR-100 数据集上取得了良好效果。
adversarial examplesdeep networksmixup trainingmodel robustnessadversarial attacks
发现论文，激发创造
  • mixup：超越经验风险最小化

    这篇论文提出了一种名为 mixup 的学习原则，通过训练神经网络的凸组合来缓解其记忆和对抗性示例敏感等问题，实验表明 mixup 提高了最先进的神经网络结构的泛化性能，并减少了恶意标签的记忆，增强了对抗性示例的鲁棒性，并稳定了生成对抗网络的训练。

    Oct, 2017

  • 重新思考 Mixup 以提高对抗性可迁移性

    提出了一种基于输入转换的新攻击称为 MIST，通过将输入图像与随机平移的图像进行随机混合，并分离每个混合图像的损失项的梯度来对抗不准确的梯度，通过在每个输入样本上计算多个混合图像的梯度，MIST 在 ImageNet 数据集上的实验证明在卷积神经网络（CNN）和视觉变换器（ViTs）中优于现有的 SOTA 输入转换攻击，并支持 MIST 的高效性和广泛性。

    Nov, 2023

  • MixUp 作为局部线性域外正则化

    本文提出混合增强数据方法 MixUp 的一种新的视角 ——“out-of-manifold regularization”，并发现了其存在的 “manifold intrusion” 问题，提出了一种新的自适应正则化方法 AdaMixUp，并通过实验验证了 AdaMixUp 的优越性。

    Sep, 2018

  • 无限类别混淆

    本文提出了一种名为 Infinite Class Mixup 的基于分类器混合的新型数据增广策略，通过对每个增广样本定义一个唯一的新分类器，而不是对训练对标签进行混合，使得神经网络能够更好地学习不同数据类之间的线性行为模式，并在多种模型上取得了较好的性能表现。

    May, 2023

  • 混合样本如何提高模型鲁棒性和泛化性能？

    本文提供了理论分析，证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性，表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界，而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化，从而减少了过拟合。

    Oct, 2020

  • Mixup-Transformer：NLP 任务的动态数据增强

    本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

    Oct, 2020

  • 用对抗性混合策略放松 Mixup 中的局部线性约束

    使用对抗混合策略来进一步规范深层网络，以更有效地应对低资源条件下 Mixup 约束问题，并在五种文本分类基准和五种骨干模型上的实验证明，该方法显著降低了 Mixup 变体的错误率（高达 31.3％），特别是在低资源条件下（高达 17.5％）

    Sep, 2021

  • MetaMixUp: 使用元学习学习 MixUp 的自适应插值策略

    本文提出了一种名为 MetaMixUp 的数据增强方法，该方法通过在线元学习动态学习插值策略，可用于模型正则化、半监督学习和领域自适应，实验证明 MetaMixUp 比原始的 MixUp 和其变体在半监督学习配置下效果更好。

    Aug, 2019

  • AutoMix: 揭示 Mixup 的强大分类器之力

    该论文提出了一种自动混合框架 ——AutoMix，它将混合分类分为两个子任务，并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明，在各种分类场景和下游任务中，其优越性超过了现有技术。

    Mar, 2021

  • 关于 Mixup 正则化

    本论文研究数据增广技术 Mixup 的理论基础，指出 Mixup 可被解释为标准经验风险最小化估计器，通过数据转换和随机扰动来实现。该方法在测试时能够提高分类器性能，同时还获得了自校准和有效的正则化效果，以防止过度拟合和过度自信的预测。

    Jun, 2020