EMNLPOct, 2023

DALE：用于低资源法律自然语言处理的生成式数据增强

PDF
TL;DRDALE 是一个新颖有效的低资源法律 NLP 数据增强框架，通过使用编码 - 解码语言模型，预训练选择性屏蔽的无监督文本去噪目标，结合特定领域语言特性对模板化法律文件进行遮盖，从而生成连贯多样的合成增强，用于低资源法律 NLP 任务。DALE 在 13 个数据集上展示了其优越性能，在质量和数量上都优于 LLMs 等其他基线方法，改进幅度在 1%-50% 之间。
发现论文，激发创造
  • DAGA: 一种基于生成方法的数据增强技术，用于低资源标注任务

    本研究提出了一种基于语言模型的数据增强方法，可以生成高质量的合成数据以提高机器学习性能，在监督和半监督学习环境下，实验结果表明，在给定较少的训练数据的情况下，该方法可以始终优于基准方法。

    Nov, 2020

  • LLM-DA: 大型语言模型在少样本命名实体识别中的数据增强

    提出了 $LLM-DA$，这是基于大型语言模型的一种新的数据增强技术，适用于少样本的命名实体识别任务，并实验证明该方法在有限数据情况下能有效提升模型性能。

    Feb, 2024

  • 低资源神经机器翻译中数据增强的再思考：多任务学习方法

    本文提出了一种基于多任务学习的数据增强方法，通过将目标句子的顺序进行颠倒等操作，产生不流畅的目标句子，作为辅助任务使用以加强编码器和强制解码器更多地关注源表示。在六个低资源翻译任务上的实验证明，该方法相对于以扩展经验数据分布为目标的传统数据增强方法，可以在提高翻译质量的同时提高翻译系统的鲁棒性和抗干扰性。

    Sep, 2021

  • 低资源开放领域对话生成的可控且多样化的数据增强

    利用大规模语言模型 (LLM) 进行以摘要为基础的对话增强 (SDA) 以提高语义多样性和控制能力，通过生成高质量和多样化的对话数据来增强开放领域对话模型的性能。

    Mar, 2024

  • 自然语言处理中的数据增强方法综述

    本文综述了数据增强的三个类别：释义、加噪和采样，以及在 NLP 中的应用和挑战。

    Oct, 2021

  • 缓解大型语言模型的数据稀缺问题

    本文研究了使用数据增强和神经集成学习技术来减轻预训练神经语言模型在医学或低资源语言等特定领域中的数据稀缺问题。实验结果表明，这些简单有效的解决方案可以显著提高这些领域下神经语言模型的性能。

    Feb, 2023

  • 使用 LLMs 的数据增强：数据视角、学习范式和挑战

    机器学习中的数据增强技术通过多样化训练示例来提高模型性能，本文调查了大型语言模型在自然语言处理和其他领域中对数据增强的转变影响，探讨了利用大型语言模型进行数据增强的各种策略以及所面临的挑战。

    Mar, 2024

  • 数据不足？深度学习来救援！

    通过现有的自然语言处理技术和文本生成能力，我们提出了一种新的数据增强方法，即基于语言模型的数据增强 (LAMBADA)，它可以在有限标注数据的情况下用强大的预训练神经网络模型合成新的有标注数据，进而提高文本分类任务性能。

    Nov, 2019

  • 基于语法的命名实体识别数据增强

    本研究探讨了在低资源条件下如何使用数据增强技术来提高命名实体识别任务的性能，并比较了简单的掩码语言模型替换和基于句法树变异的数据增强方法，以保持增强后句子的语言连贯性。

    Aug, 2022

  • MELM: 低资源命名实体识别的掩码实体语言建模数据增强

    使用 MELM 作为一种新的数据增强框架，通过显式条件化于标签来预测掩码实体标记，从而为低资源 NER 生成高质量的增强数据，并通过与混合代码结合进一步提高了 MELM 的有效性，在单语，跨语言和多语言 NER 方面均取得了实验结果的显著改进。

    Aug, 2021