ACLJun, 2024

ABEX: 通过扩展抽象描述进行低资源 NLU 的数据增强

PDF
TL;DR我们提出了一种新颖有效的 ABEX 生成数据增强方法，用于低资源自然语言理解（NLU）任务。 ABEX 基于 ABstract-and-EXpand，一种生成输入文档不同形式的新颖范例，我们首先将文档转换为简洁、抽象的描述，然后根据扩展所得到的抽象生成新的文档。我们证明了 ABEX 在涵盖 12 个数据集和 4 个低资源情况下的 4 个 NLU 任务上的有效性，在质量上超过了所有基线，并获得了从上一文献中以各种不同的上下文和长度多样性而言的最佳性能。
abexgenerative data augmentationlow-resource natural language understanding (nlu) tasksabstract-and-expandabstract descriptions
发现论文，激发创造
  • 高效的抽象摘要数据增强

    本文介绍了一种针对抽象摘要任务的低成本、高效的数据扩充策略，ExtraPhrase，通过提取性摘要和改写两个步骤来构建伪训练数据，实验证明 ExtraPhrase 相比不使用数据扩充的设置在 ROUGE 指标上提高了超过 0.50 分，并且超过了现有的方法，尤其在低资源设置下表现出明显提升，同时 ExtraPhrase 比现有方法更加成本效益高。

    Jan, 2022

  • 在 SemEval-2024 任务 2 中的 DKE 研究：结合数据增强、生成模型和生物医学知识提高推理鲁棒性

    通过语义扰动和特定领域词汇替换生成合成示例，并添加数值和定量推理新任务，以改进生物医学临床试验中自然语言推理模型的鲁棒性，结合多任务学习和 DeBERTa 结构，相较于原始语言模型在 NLI4CT 2024 基准上取得了显著的性能改进。

    Apr, 2024

  • 使用回译的数据增强方法应用于低资源的命名实体识别

    本文提出了基于回译技术的数据增强策略，用于命名实体识别任务的低资源域，实验结果表明该方法在材料科学和生物医学领域中均表现出了高效的性能。

    Aug, 2021

  • 低资源神经机器翻译的数据增强

    本研究提出了一种以数据增强为基础的方法，针对低频词汇在合成的新语境中生成新的句子对，以提高神经机器翻译系统的翻译质量。在模拟低资源环境中的实验结果显示，相对于基准和回译方法，我们的方法能够提高翻译质量，最高可提高 2.9 BLEU 分数。

    May, 2017

  • 针对低资源事件抽取的目标增强

    应对低资源信息提取的挑战仍然是一个持续存在的问题，由于有限训练示例中固有的信息稀缺性。现有的数据增强方法被认为是潜在的解决方案，但在弱增强（例如同义词增强）和剧烈增强（例如缺乏适当指导的条件生成）之间很难达到平衡。本文提出了一种新的范式，采用目标增强和反向验证，以生成增强的示例，增强了多样性、极性、准确性和连贯性。广泛的实验结果证明了所提范式的有效性。此外，还讨论了已确定的局限性，为未来改进提供了启示。

    May, 2024

  • 抽象式摘要作为文档级事件检测的扩充

    使用抽象文本摘要作为增强方法，着重于在文档级事件检测上弥合浅层模型和深层模型之间的性能差距，使用 RoBERTa-base 和线性 SVM 对分类进行实验，结果表明，文档标题的使用不但能够增强分类性能，还能提高 RoBERTa 的 F1 分数。

    May, 2023

  • UXLA：零资源跨语言自然语言处理的强大无监督数据增强框架

    提出了 UXLA，一种新的无监督数据增强框架，用于零资源转移学习场景中的跨语言适应问题。UXLA 在三个不同的零资源跨语言转移任务上取得了 SOTA 结果，胜过基准线很多。

    Apr, 2020

  • 文本摘要中的抽象化改进

    提出使用上下文相关网络和预训练的语言模型来提高抽象文本摘要的生成水平和使用新颖度度量来优化生成的摘要，从而实现比现有方法更高水平的摘要生成。

    Aug, 2018

  • 神经数据扩增通过样本外推

    提出了一种基于神经扩展范例（Ex2）的数据增强方法，通过从某个分布中抽样得到的一些范例向该分布中生成新范例，应用于语言理解任务中，取得了在几个少样本学习基准上显著的优化结果。

    Feb, 2021

  • 低资源抽象化摘要元转移学习

    本文提出了一种方法，利用大型预训练模型和多样的现有语料库，解决低资源抽象摘要化问题，在各种写作风格和形式的摘要语料库上实验证明，我们的方法仅使用 0.7％的可训练参数与以前的工作相比，在低资源情况下实现了 6 个语料库的最新技术水平。

    Feb, 2021