本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

Oct, 2020

混合是一种有效的数据增强方法，通过聚合不同原始样本的线性组合来生成新的增强样本，本文提出了一种名为 AMPLIFY 的新的混合方法，使用 Transformer 自身的注意机制来降低原始样本中噪音和异常值对预测结果的影响，避免了传统混合方法中资源消耗过高的问题，在 7 个基准数据集上提升了文本分类任务的性能，为基于注意机制的预训练模型如 BERT、ALBERT、RoBERTa 和 GPT 等的性能改进提供了新思路和新方法。

Sep, 2023

本文提出了 Mixup 数据增强方法在句子分类中的应用策略，并在多个基准数据集上进行了实验验证，结果表明该技术是一种有效的、领域无关的数据增强方法，可使 CNN 和 LSTM 模型的预测准确性显著提高。

May, 2019

本文提出了一种新颖的 NMT 数据增强方法 ——AdMix，将弱离散噪声引入原始句对，生成新的合成训练数据，并将其与原始样本软混合，实验证明，该方法可显著提高翻译效果，特别是与 back-translation 等方法联合使用时，改进效果进一步增强。

May, 2022

数据增强通过合成更多的训练样本提高深度学习模型的泛化能力。TransformMix 是一种自动化方法，通过应用学习到的变换和混合扩增策略来创建具有正确和重要信息的混合图像，从而提高性能。

Mar, 2024

提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。

Sep, 2022

本文提出了一种名为 TransMix 的混合标签方法，基于 ViT 的注意力图混合标签，这种方法不需要引入额外的参数和 FLOP，并且在不同的基于 ImageNet 数据集的分类任务中都能够显著提高 ViT 的性能以及在语义分割，目标检测和实例分割上的迁移能力，同时在 4 种不同数据集的评估中也表现得更加稳健。

Nov, 2021

本文提出了一种名为 TokenMix 的数据增强技术，它在令牌级别上混合两个图像，通过将混合区域分区成多个独立的部分来实现，其适用于更好地训练视觉变换器，同时根据预训练的 teacher 模型的内容基础神经激活映射分配目标分数，增强了其稳健性和性能。

Jul, 2022

该研究提出了一种简单的数据增强方法 SeqMix，用于鼓励神经模型针对序列问题的组合行为，该方法可以使神经网络捕获自然语言中的组合特征，旨在提高机器翻译和语义分析等任务的性能。

Nov, 2020

本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

Sep, 2016