EMNLPJan, 2023

Mask-then-Fill: 一种用于事件抽取的灵活有效的数据增强框架

PDF
TL;DR本文提出了一个名为 Mask-then-Fill 的灵活有效的数据增强框架，可以在保持原有事件结构不变的前提下更灵活地操作文本以生成更加多样化的数据。该方法可以用更多种类的文本替换原有文本，相比现有的方法，它可以替换任意长度的一段文本而非仅单个词或固定长度的文本片段，因此在触发词和参数提取任务中比基线方法表现更好，并在低资源情况下表现尤为强大。我们进一步分析结果显示，该方法在多样性和分布相似性之间达到了良好的平衡。
event extractiondata augmentationtext manipulationinfilling modellow-resource setting
发现论文，激发创造
  • 迭代掩码填充：一种使用掩码语言建模的有效文本增强方法

    我们提出了一种利用基于变压器的 BERT 模型的填充掩码特性的新型文本增强方法，该方法在句子中迭代遮盖单词并使用语言模型预测替换它们。我们在各种 NLP 任务上测试了我们提出的方法，并发现它在许多情况下都是有效的。我们将我们的结果与现有的增强方法进行了比较，并实验结果表明我们提出的方法显著提高了性能，尤其是在主题分类数据集上。

    Jan, 2024

  • 掩码与填空：应用掩码语言模型进行情感转换

    该论文提出了一种基于两步 Mask 和 Infill 方法的情感转移模型，用于修改句子情感属性，实验表明对于非平行文本，该模型具有良好的性能。

    Aug, 2019

  • 基于 Masked 序列到序列生成的条件增强用于方面术语抽取

    本文提出了一种遮蔽序列到序列的数据增强方法，从而帮助解决 aspect term extraction 任务中标注数据的稀缺性问题，并有效提升了现有模型的性能。

    Apr, 2020

  • 文本填充

    本文研究了文本生成和填充相关的问题，设计并实现了一种基于自注意力和双向上下文建模的模型，并通过有监督的学习方法进行了实验验证。结果表明，该模型在文本填充任务上表现出色，为未来的相关研究提供了强有力的基线。

    Jan, 2019

  • 探究基于掩码的语言模型数据生成

    本文旨在探讨基于掩码语言模型的数据增强方法在自然语言处理领域的广泛应用及提高模型性能的有效性，以及近期对该模型在生成人工扩充数据方面的应用及实验结果。

    Jun, 2023

  • 针对低资源事件抽取的目标增强

    应对低资源信息提取的挑战仍然是一个持续存在的问题，由于有限训练示例中固有的信息稀缺性。现有的数据增强方法被认为是潜在的解决方案，但在弱增强（例如同义词增强）和剧烈增强（例如缺乏适当指导的条件生成）之间很难达到平衡。本文提出了一种新的范式，采用目标增强和反向验证，以生成增强的示例，增强了多样性、极性、准确性和连贯性。广泛的实验结果证明了所提范式的有效性。此外，还讨论了已确定的局限性，为未来改进提供了启示。

    May, 2024

  • 低资源表达文本朗读的分布增强

    本文介绍了一种新的数据增强技术，用于文本到语音的任务，能够生成新的（文本，音频）训练样本，而无需额外的数据。该方法可增加训练期间可用的文本条件的多样性，有助于减少过拟合，特别是在低资源环境下。我们将文本和音频段进行替换以确保语法正确性，并采取额外措施确保合成的语音不含有由于组合不一致的音频样本而导致的伪影。感知评估结果表明，我们的方法改善了许多数据集、说话人和 TTS 体系结构的语音质量，并能大大提高基于注意力的 TTS 模型的鲁棒性。

    Feb, 2022

  • 让语言模型填充空白

    本文提出一种名为 Infilling by Language Modeling 的文本补全方法，它采用了一个预训练的语言模型来预测文档中的任意位置缺失的文本，并在短篇小说、科学摘要和歌词三种不同领域有效地补全整个句子。研究结果显示，采用这种方法补全的句子很难被人识别为机器生成，适用于辅助写作工具。

    May, 2020

  • 使用多粒度上下文编码的文档级事件角色填充物提取

    本文研究了文档级事件抽取中跨句子事件命名的问题，并提出了一种多粒度阅读器，用于动态汇集不同粒度的神经表示学习的信息。通过在 MUC-4 数据集上进行实验，表明本文提出的最佳系统的表现显著优于先前工作，并对上下文长度和神经模型性能之间的关系进行了分析。

    May, 2020

  • 视觉丰富文档的增强策略

    本论文提出了一种名为 FieldSwap 的数据增强技术，通过交换源领域的关键短语和目标领域的关键短语来生成新的合成例子，以提高培训中目标领域数据稀缺时的性能，例如文本处理和字段提取。实验证明，该方法可以提高 1-7 个 F1 点的提取性能。

    Dec, 2022