Jan, 2024

迭代掩码填充：一种使用掩码语言建模的有效文本增强方法

PDF
TL;DR我们提出了一种利用基于变压器的 BERT 模型的填充掩码特性的新型文本增强方法，该方法在句子中迭代遮盖单词并使用语言模型预测替换它们。我们在各种 NLP 任务上测试了我们提出的方法，并发现它在许多情况下都是有效的。我们将我们的结果与现有的增强方法进行了比较，并实验结果表明我们提出的方法显著提高了性能，尤其是在主题分类数据集上。
发现论文，激发创造
  • 探究基于掩码的语言模型数据生成

    本文旨在探讨基于掩码语言模型的数据增强方法在自然语言处理领域的广泛应用及提高模型性能的有效性，以及近期对该模型在生成人工扩充数据方面的应用及实验结果。

    Jun, 2023

  • Mask-then-Fill: 一种用于事件抽取的灵活有效的数据增强框架

    本文提出了一个名为 Mask-then-Fill 的灵活有效的数据增强框架，可以在保持原有事件结构不变的前提下更灵活地操作文本以生成更加多样化的数据。该方法可以用更多种类的文本替换原有文本，相比现有的方法，它可以替换任意长度的一段文本而非仅单个词或固定长度的文本片段，因此在触发词和参数提取任务中比基线方法表现更好，并在低资源情况下表现尤为强大。我们进一步分析结果显示，该方法在多样性和分布相似性之间达到了良好的平衡。

    Jan, 2023

  • 基于条件掩码语言模型的神经机器翻译语义一致数据增强

    本文介绍了一种新的神经机器翻译数据增强方法，可以在语言内外强制实现更强的语义一致性。结果表明，条件掩蔽语言模型是一种生成上下文相关单词分布的有效技术，并集成了软词替换的思想，以增强数据多样性，加强语义一致性。该方法在四个规模不同的翻译数据集上进行的实验结果，展示了更真实的数据增强和更好的翻译质量，相对于强和最新的工作，我们的方法一致实现了最佳性能，并相对于基线改进了高达 1.90 BLEU 分数。

    Sep, 2022

  • 掩码与填空：应用掩码语言模型进行情感转换

    该论文提出了一种基于两步 Mask 和 Infill 方法的情感转移模型，用于修改句子情感属性，实验表明对于非平行文本，该模型具有良好的性能。

    Aug, 2019

  • 基于语法的命名实体识别数据增强

    本研究探讨了在低资源条件下如何使用数据增强技术来提高命名实体识别任务的性能，并比较了简单的掩码语言模型替换和基于句法树变异的数据增强方法，以保持增强后句子的语言连贯性。

    Aug, 2022

  • MELM: 低资源命名实体识别的掩码实体语言建模数据增强

    使用 MELM 作为一种新的数据增强框架，通过显式条件化于标签来预测掩码实体标记，从而为低资源 NER 生成高质量的增强数据，并通过与混合代码结合进一步提高了 MELM 的有效性，在单语，跨语言和多语言 NER 方面均取得了实验结果的显著改进。

    Aug, 2021

  • 视觉语言领域数据效率掩码语言建模

    本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称 MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在 LXMERT 模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

    Sep, 2021

  • 条件 BERT 上下文增强

    提出一种名为条件 BERT 上下文增强的有标注句子的新数据增强方法，基于 BERT 的条件掩蔽语言模型，通过替换预测到的更多变化的子词来增加标注的语句的多样性，实验显示该方法可以轻松应用于卷积或循环神经网络分类器中以获得明显的改进。

    Dec, 2018

  • GPT3Mix：利用大规模语言模型进行文本增强

    本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

    Apr, 2021

  • 让语言模型填充空白

    本文提出一种名为 Infilling by Language Modeling 的文本补全方法，它采用了一个预训练的语言模型来预测文档中的任意位置缺失的文本，并在短篇小说、科学摘要和歌词三种不同领域有效地补全整个句子。研究结果显示，采用这种方法补全的句子很难被人识别为机器生成，适用于辅助写作工具。

    May, 2020