更广覆盖以提高更好抗干扰性：用 Mixup 扩充进行对抗训练以达到更好的微调鲁棒性

ACLDec, 2020

更广覆盖以提高更好抗干扰性：用 Mixup 扩充进行对抗训练以达到更好的微调鲁棒性

Better Robustness by More Coverage: Adversarial Training with Mixup Augmentation for Robust Fine-tuning

Chenglei Si, Zhengyan Zhang, Fanchao Qi, Zhiyuan Liu, Yasheng Wang...

TL;DR本文提出了对抗与混合数据增强方法（AMDA）以提高预训练语言模型在对抗攻击下的鲁棒性。在 BERT 和 RoBERTa 的文本分类实验中，AMDA 在两种强对抗攻击下均取得显著的鲁棒性增益，并缓解了 ADA 在干净数据上的性能下降。

Abstract

pretrained language models (PLMs) perform poorly under adversarial attacks. To improve the adversarial robustness, adversarial data augmentation<

pretrained language models adversarial attacks adversarial data augmentation adversarial and mixup data augmentation robustness gains

发现论文，激发创造

适配器与混合层融合增强预训练语言模型对文本分类的对抗性鲁棒性

该研究通过优化 fine-tuned adapters 并使用混合数据训练神经网络，提出了一种在实践中更实用的对抗训练机制，从而在提高模型的泛化性和预测性能的同时避免了传统对抗训练方法中存在的性能下降和计算成本较高的问题。

Jan, 2024

虚拟数据增强：一种用于微调预训练模型的稳健通用框架

该论文提出了一种名为 Virtual Data Augmentation（VDA）的数据增强技术，通过基于原始令牌嵌入构建混合多项式来增加语义相关且具有充分多样性的虚拟数据嵌入，其中掩码语言模型保证了语义相关性，高斯噪声提供增强的多样性，并提出了一种规则化训练策略以平衡两个方面，大量实验证明该方法能提高 pre-trained language models 的鲁棒性和减轻对对抗攻击的表现下降。

Sep, 2021

通过隐式对抗数据增强提升模型的弹性

通过融入对抗性和反对抗性扰动分布，增强样本的深度特征，适应性调整学习困难以适应每个样本的特征。同时，开发了一种基于元学习的框架，通过引入增强的效果并跳过显式的增强过程，优化分类器。在长尾学习、广义长尾学习、嘈杂标记学习和子种群转移学习等四种常见偏差学习场景中进行了广泛实验，实证结果表明该方法始终达到最先进的性能水平，突显其广泛适应性。

Apr, 2024

使用 Mixup 和有针对性的标签对抗训练以提高神经网络的稳健性

提出一种名为 M-TLAT 的新型数据增强策略，结合了 Mixup 增强和一种名为 Targeted Labeling Adversarial Training（TLAT）的新对抗训练算法，有效提高了图像分类器对于常见污染和对抗性攻击的鲁棒性，同时不会降低对于正常样本的准确率。

Aug, 2020

AdMix：一种混合采样数据增强方法用于神经机器翻译

本文提出了一种新颖的 NMT 数据增强方法 ——AdMix，将弱离散噪声引入原始句对，生成新的合成训练数据，并将其与原始样本软混合，实验证明，该方法可显著提高翻译效果，特别是与 back-translation 等方法联合使用时，改进效果进一步增强。

May, 2022

对抗自动混合

通过交替优化分类器和混合样本生成器，我们提出了一种对抗性自动混合增强方法 AdAutomixup，用于生成具有挑战性的样本以训练强大的图像分类器，并通过引入指数移动平均教师和余弦相似度来防止图像内在意义的崩溃。大量实验证明，我们的方法在各种分类场景中优于现有技术水平。

Dec, 2023

增强：基于注意力的 Mixup 用于 Transformer 的性能提升和标签平滑

混合是一种有效的数据增强方法，通过聚合不同原始样本的线性组合来生成新的增强样本，本文提出了一种名为 AMPLIFY 的新的混合方法，使用 Transformer 自身的注意机制来降低原始样本中噪音和异常值对预测结果的影响，避免了传统混合方法中资源消耗过高的问题，在 7 个基准数据集上提升了文本分类任务的性能，为基于注意机制的预训练模型如 BERT、ALBERT、RoBERTa 和 GPT 等的性能改进提供了新思路和新方法。

Sep, 2023

低资源环境下对抗性词汇稀释作为文本数据增强

本研究提出了一种 Adversarial Word Dilution（AWD）文本数据增强方法，通过将强阳性单词的嵌入与未知单词的嵌入进行加权混合，生成难以被分类模型识别为阳性的文本输入，以有效训练低资源文本分类模型。实验表明，AWD 可以生成更有效的数据增强，并且是可解释的，可以灵活扩展到新的示例而无需进一步训练。

May, 2023

使用对抗样本进行训练增强的鲁棒语音识别

本文探讨了使用对抗性样本在训练语音识别系统中以增强深度神经网络声学模型的鲁棒性，结果表明相对于传统的数据通过数据转换技术实现的增强，动态利用当前声学模型参数生成对抗性样本的方法在 Aurora-4 和 CHiME-4 单通道实验中具有显著的改善表现。此外，将对抗性样本与老师 / 学生培训相结合，可以进一步提高识别准确率，Aurora-4 相对误差率降低了 23%。

Jun, 2018

混合样本如何提高模型鲁棒性和泛化性能？

本文提供了理论分析，证明了使用 Mixup 在训练中如何帮助模型的鲁棒性和泛化性，表明最小化 Mixup 损失相当于大致最小化对抗性损失的上界，而对于泛化性我们证明了 Mixup 数据增强对应于一种特定类型的数据自适应正则化，从而减少了过拟合。

Oct, 2020