本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。
Oct, 2020
本文研究数据增强方法 Mixup 的原理，从特征学习的角度解释了 Mixup 方法的优越性，并提出在早期训练阶段应用早停止技术以提高训练效果。
Mar, 2023
提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。
Sep, 2022
本文提出了一种名为 Infinite Class Mixup 的基于分类器混合的新型数据增广策略，通过对每个增广样本定义一个唯一的新分类器，而不是对训练对标签进行混合，使得神经网络能够更好地学习不同数据类之间的线性行为模式，并在多种模型上取得了较好的性能表现。
May, 2023
提出了 Data Interpolating Prediction（DIP）框架，将样本混合过程与分类器的假设类封装在一起，从而使训练和测试样本受到平等对待，进而帮助降低 Rademacher 复杂度并减少泛化误差。DIP 在实证上表现比 Mixup 更优。
Jun, 2019
通过提出的 MultiMix 方法，在嵌入空间中生成任意数量的插值样本，扩大了 Mini-batch 的面积，从而显著提高了 Mixup 方法在四个不同基准上的效果。
Nov, 2023
介绍了一种名为 AlignMix 的新型混合方法，通过在特征空间中几何对齐两个图像，从而使混合方法保留一个图像的几何特征和另一个图像的纹理，提高了表示学习效果。
Mar, 2021
提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup，其中通过将先前的一阶段扩增过程分解为两阶段，从而将生成虚拟样本的过程与标记过程分离，并根据生成样本的全局关系计算子集对生成样本的标签重新标记，从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明，Global Mixup 明显优于现有最新技术基线。
Jun, 2022
数据增强通过合成更多的训练样本提高深度学习模型的泛化能力。TransformMix 是一种自动化方法，通过应用学习到的变换和混合扩增策略来创建具有正确和重要信息的混合图像，从而提高性能。
Mar, 2024
该研究提出了一种新的概念框架 —— 监督插值，通过松弛和概括 Mixup，可以有效地规范混合数据的训练，进而提出了一种名为 LossMix 的简单却灵活且有效的正则化方法，并设计了一种两阶段的域混合方法，借助 LossMix 超越了 Adaptive Teacher，并在无监督领域适应中有了新的突破。