EMNLPOct, 2020

预训练 Transformer 的任务无关数据增强效果如何？

PDF
TL;DR本文通过对 BERT、XLNet 和 RoBERTa 共 3 个方面、5 个分类任务和 6 个数据集上应用非针对特定任务的数据增强技术（easy data augmentation 和 back-translation）的实验研究，发现之前针对非预训练模型的技术并未能有效地提高预训练模型的性能表现，从而提醒实践者在进行数据增强时需谨慎。
data augmentationpretrained transformersnlpclassification tasksbert
发现论文，激发创造
  • 探索代码生成任务的数据增强技术

    本文探讨了自然语言处理、迁移学习和数据利用等技术在编程语言任务中的应用以及基于增强方法的模型训练，该方法可使代码翻译和摘要的准确率分别提高至 6.9% 和 7.5%。

    Feb, 2023

  • 使用预训练 Transformer 模型进行数据增强

    本文研究了不同类型的基于 Transformer 的预训练模型（如 GPT-2，BERT 和 BART），并探索了在数据增强方面，如何在文本序列之前添加类标签提供了一种简单而有效的条件方法，预先训练的 Seq2Seq 模型在低资源环境下胜过了其他数据增强方法，在数据分布和类标签信息保存方面也进行了探讨。

    Mar, 2020

  • AuGPT：使用辅助任务和数据增强进行端到端对话的预训练语言模型

    为了解决注意力语言模型在任务导向对话中的缺陷，这篇论文引入了修改过的训练目标和巨量数据增强技术，研究数据来源的多重组合方式，并通过人工和自动评估证明了方法的高效性，取得了与最先进技术的竞争性表现。

    Feb, 2021

  • 探索社交媒体语料库上的数据增强方法

    本研究探索了数据增强技术对文字分类的影响，使用多种数据增强技术，包括过采样、易用数据增强、反向翻译、灰度缩放以及一种少样本学习的方法 PTE。结果表明，数据增强技术对模型性能只有轻微且不一致的改进，少数同义词替换可以提高模型性能，灰度缩放需要进一步研究，PTE 的表现优于监督学习，尤其是在类别容易分离的情况下。

    Mar, 2023

  • 利用数据增强技术增强基于 Transformer 的跟踪模型

    通过系统实验，揭示了现有的常见策略对基于 Transformer 的目标跟踪器的有限效果，提出了两种自定义的数据增强方法，并在两个基于 Transformer 的跟踪器和六个基准测试中证明了这些方法的有效性和数据效率。

    Sep, 2023

  • 基于 Transformer 模型的自动化论文评分数据增强

    本文研究使用 Transformer 模型与数据增强技术解决自动评分的问题，通过实验证明其有效性。

    Oct, 2022

  • 评估数据增强在低资源环境下情感分类的有效性

    本研究评估了不同数据增强技术对低资源数据集上多标签情绪分类任务的效果，并发现后向翻译技术超过基于自编码器的方法，每个训练实例生成多个示例进一步提高了性能，此外后向翻译生成了最多样化的单字和三字组合，这些发现证明了后向翻译在资源有限情况下提升情绪分类模型性能的实用性。

    Jun, 2024

  • 数据增强对自然语言处理的泛化能力是否有所提升？

    使用数据增强来鼓励模型更喜欢强特征，并且研究其对于特征学习的影响。在测试中，数据增强通常在起初起到反效果的作用，并且较难取代弱特征的强特征学习效果较差。

    Apr, 2020

  • 有限数据下数据增强对前缀调校的有效性

    该研究探讨了如何使用前缀调优和数据扩充技术来提高语言模型的性能，通过引入对比损失，有效改善语言模型处理经过加强后数据的能力。

    Mar, 2023

  • 端到端任务导向对话的有效数据增强方法

    该研究通过四种自动方法在单词和句子级别上增强数据，提高目标导向对话模型的数据效果，并在两个数据集上进行实验，结果表明四种数据扩充方法在 Success F1 score 方面均能显著提高。进一步分析确认，增加用户话语的多样性可以使端到端模型学习特征更为稳健。

    Dec, 2019