ACLFeb, 2022

文本平滑处理：增强文本分类任务中不同的数据增强方法

PDF
TL;DR该研究提出了一种有效的数据增强方法，又称文本平滑，在神经网络中将一个句子从其单热表示转换为可控的平滑表示，以增强低资源情况下的性能，并发现该方法可以与其他数据增强方法相结合，实现更好的性能。
neural networktoken representationsmoothed representationdata augmentationlow-resource regime
发现论文，激发创造
  • 文本情感分类的标签平滑优化

    这项研究通过使用不同程度的平滑化技术来实现情感分类的标签平滑化，从而提高情感分类准确性，并在八个不同的数据集和深度学习架构（TextCNN、BERT 和 RoBERTa）中的训练和微调两种学习方案下，通过大量实验展示了标签平滑化在文本情感分类任务中的卓越性能。

    Dec, 2023

  • 利用 NLP 云 API 简化文本数据增强

    本工程研究了文本数据增强预处理技术，使用了常见的技术，如噪声注入，词法替换和生成的近义词，如后向转换或通过句法树的转换。使用这些技术，通过增加只有五个数据放大因子，已经使得在文本极性预测标准化任务上神经网络的准确度在 4.3% 到 21.6％的范围内获得了不错的提升，而且部分标准深度神经网络架构也都进行了测试。

    Dec, 2018

  • 通过全局增强方法提高短文本分类效果

    本文研究了不同的文本扩充方法在分类应用中的影响，通过使用包括社交媒体和新闻文章在内的三个数据集，我们发现基于 Word2vec 的文本扩充是一种可行的选择，并且使用 mixup 可以进一步提高性能，并降低过拟合的影响。同时，通过翻译服务进行往返翻译的效果不如其他方法好，并且成本较高，适用性较差。

    Jul, 2019

  • 神经机器翻译的软上下文数据增强

    本文提出了一种新颖的神经机器翻译数据增强方法，即通过语言模型提供的词汇分布来增强句子中的特定单词，从而比之前的增强方法更好地捕捉上下文语义信息。实验结果表明该方法在小规模和大规模机器翻译数据集上都优于强基线。

    May, 2019

  • 文本分类数据增强调查

    本文旨在提高机器学习分类系统的泛化能力，通过对数据进行转换的方式来人工创建训练数据，从而增强数据的多样性，该文章就在「文本分类」中，对数据增强方法及其应用目标做了详细概述与分类，最终针对相关领域，提出建设性思路方向。

    Jul, 2021

  • 标签平滑化提高领域内外文本对抗鲁棒性

    通过研究标签平滑策略在 NLP 领域不同任务中的应用，发现其可以有效地提高预训练模型的对抗鲁棒性，特别是在对抗攻击方面，并降低过度自信错误。

    Dec, 2022

  • 强化器还是滤镜？重新思考预训练语言模型在文本分类增强中的作用

    本研究提出 BOOSTAUG，这个基于预训练语言模型的文本增强方法重点在于增强实例过滤，而不是生成，解决现有文本增强方法中的性能下降和特征空间漂移等问题。结果表明，在句子级文本分类和基于方面的情感分类上，BOOSTAUG 均取得了最先进的性能，该方法是灵活的，可以改进现有的增强方法。

    Oct, 2022

  • 随机文本扰动的效果有时有效

    探究数据增广方法在 NLP 中的效果和可泛化性，通过三个二进制文本匹配分类任务的大规模实验发现，随机文本扰动作为数据增广能给神经分类模型的测试集性能带来正面和负面的影响，具体取决于模型是否足够训练原始训练例子，但这与是否同时或分别应用五个随机文本编辑操作无关，研究强烈暗示随机文本扰动的效果任务特定，而不是普遍积极的。

    Sep, 2022

  • 迭代掩码填充：一种使用掩码语言建模的有效文本增强方法

    我们提出了一种利用基于变压器的 BERT 模型的填充掩码特性的新型文本增强方法，该方法在句子中迭代遮盖单词并使用语言模型预测替换它们。我们在各种 NLP 任务上测试了我们提出的方法，并发现它在许多情况下都是有效的。我们将我们的结果与现有的增强方法进行了比较，并实验结果表明我们提出的方法显著提高了性能，尤其是在主题分类数据集上。

    Jan, 2024

  • 探索社交媒体语料库上的数据增强方法

    本研究探索了数据增强技术对文字分类的影响，使用多种数据增强技术，包括过采样、易用数据增强、反向翻译、灰度缩放以及一种少样本学习的方法 PTE。结果表明，数据增强技术对模型性能只有轻微且不一致的改进，少数同义词替换可以提高模型性能，灰度缩放需要进一步研究，PTE 的表现优于监督学习，尤其是在类别容易分离的情况下。

    Mar, 2023