Sep, 2023

增强：基于注意力的 Mixup 用于 Transformer 的性能提升和标签平滑

PDF
TL;DR混合是一种有效的数据增强方法，通过聚合不同原始样本的线性组合来生成新的增强样本，本文提出了一种名为 AMPLIFY 的新的混合方法，使用 Transformer 自身的注意机制来降低原始样本中噪音和异常值对预测结果的影响，避免了传统混合方法中资源消耗过高的问题，在 7 个基准数据集上提升了文本分类任务的性能，为基于注意机制的预训练模型如 BERT、ALBERT、RoBERTa 和 GPT 等的性能改进提供了新思路和新方法。
mixupamplifydata augmentation methodattention mechanismtext classification tasks
发现论文，激发创造
  • AttentionMix: 借助 BERT 注意机制的数据增强方法

    AttentionMix 是一种基于注意力的新混合方法，适用于自然语言处理领域，通过评估在三个标准情感分类数据集上的表现，证实了基于注意力的信息在数据增强中的有效性。

    Sep, 2023

  • Mixup-Transformer：NLP 任务的动态数据增强

    本文尝试将最新的数据增强技术 Mixup 应用于自然语言处理领域，特别是在与 NLP 相关的 transformer-based 学习模型中。实验结果表明，Mixup 在预训练的语言模型中是一个独立于领域的数据增强技术，能够显著提高其性能。

    Oct, 2020

  • 全局混合：通过聚类消除歧义

    提出基于全局聚类关系的新型数据扩增方法 ——Global Mixup，其中通过将先前的一阶段扩增过程分解为两阶段，从而将生成虚拟样本的过程与标记过程分离，并根据生成样本的全局关系计算子集对生成样本的标签重新标记，从而在更大的采样空间中生成更可靠的虚拟样本。在 CNN、LSTM 和 BERT 上的五项任务的广泛实验表明，Global Mixup 明显优于现有最新技术基线。

    Jun, 2022

  • 更广覆盖以提高更好抗干扰性：用 Mixup 扩充进行对抗训练以达到更好的微调鲁棒性

    本文提出了对抗与混合数据增强方法（AMDA）以提高预训练语言模型在对抗攻击下的鲁棒性。在 BERT 和 RoBERTa 的文本分类实验中，AMDA 在两种强对抗攻击下均取得显著的鲁棒性增益，并缓解了 ADA 在干净数据上的性能下降。

    Dec, 2020

  • TransformMix: 从数据中学习变换和混合策略

    数据增强通过合成更多的训练样本提高深度学习模型的泛化能力。TransformMix 是一种自动化方法，通过应用学习到的变换和混合扩增策略来创建具有正确和重要信息的混合图像，从而提高性能。

    Mar, 2024

  • TransMix：面向 Transformer 视觉任务的混合注意力机制

    本文提出了一种名为 TransMix 的混合标签方法，基于 ViT 的注意力图混合标签，这种方法不需要引入额外的参数和 FLOP，并且在不同的基于 ImageNet 数据集的分类任务中都能够显著提高 ViT 的性能以及在语义分割，目标检测和实例分割上的迁移能力，同时在 4 种不同数据集的评估中也表现得更加稳健。

    Nov, 2021

  • AdMix：一种混合采样数据增强方法用于神经机器翻译

    本文提出了一种新颖的 NMT 数据增强方法 ——AdMix，将弱离散噪声引入原始句对，生成新的合成训练数据，并将其与原始样本软混合，实验证明，该方法可显著提高翻译效果，特别是与 back-translation 等方法联合使用时，改进效果进一步增强。

    May, 2022

  • 使用 Mixup 增强数据进行句子分类：一项实证研究

    本文提出了 Mixup 数据增强方法在句子分类中的应用策略，并在多个基准数据集上进行了实验验证，结果表明该技术是一种有效的、领域无关的数据增强方法，可使 CNN 和 LSTM 模型的预测准确性显著提高。

    May, 2019

  • AutoMix: 揭示 Mixup 的强大分类器之力

    该论文提出了一种自动混合框架 ——AutoMix，它将混合分类分为两个子任务，并使用相应的子网络在双层优化框架中解决。AutoMix 在 9 个图像基准上的广泛实验表明，在各种分类场景和下游任务中，其优越性超过了现有技术。

    Mar, 2021

  • DoubleMix: 简单的基于插值的数据增强方法用于文本分类

    提出了一种名为 DoubleMix 的插值数据增强方法，通过合成的数据集和原始数据集在神经模型的隐藏空间中进行插值，以及学习隐藏空间中的 “偏移” 特征来提高模型的鲁棒性，在六个文本分类基准数据集上，该方法优于几种流行的文本增强技术，同时在低资源情况下也能保持性能的提升。

    Sep, 2022