ICLRJun, 2022

知识混合增强模型：低资源 NLP 的全功能数据增强方案

PDF
TL;DR该论文提出了一种名为 KnowDA 的 Seq2Seq 语言模型，该模型利用知识混合训练 (KoMT) 在多个异构 NLP 任务中预先训练并生成高质量的合成数据，用于解决低资源 NLP 任务中数据增强的问题。实验证明，KnowDA 成功地将任务知识转移给在 KoMT 中看到和没有看到过的 NLP 任务。
data augmentationlow-resource nlp tasksseq2seq language modelknowledge mixture trainingmulti-task training
发现论文，激发创造
  • 低资源神经机器翻译中数据增强的再思考：多任务学习方法

    本文提出了一种基于多任务学习的数据增强方法，通过将目标句子的顺序进行颠倒等操作，产生不流畅的目标句子，作为辅助任务使用以加强编码器和强制解码器更多地关注源表示。在六个低资源翻译任务上的实验证明，该方法相对于以扩展经验数据分布为目标的传统数据增强方法，可以在提高翻译质量的同时提高翻译系统的鲁棒性和抗干扰性。

    Sep, 2021

  • 重新思考数据增强对于强健的视觉问答的影响

    提出了一种基于知识蒸馏的数据增强方法 KDDAug，通过放宽合理图像 - 问题匹配的要求，并设计了一个知识蒸馏（KD）策略生成所有生成的图像 - 问题对的伪答案，从而增强图像的数据集，以提高视觉问答（VQA）模型的泛化性能。

    Jul, 2022

  • LLM-DA: 大型语言模型在少样本命名实体识别中的数据增强

    提出了 $LLM-DA$，这是基于大型语言模型的一种新的数据增强技术，适用于少样本的命名实体识别任务，并实验证明该方法在有限数据情况下能有效提升模型性能。

    Feb, 2024

  • 比较数据增强方法对于端到端任务导向型对话系统的效果

    在任务导向型对话系统中，通过数据增强方法在端到端设置下进行实证评估，证明了所有考虑的数据增强方法都是有益的，并提供了最佳方法和实践建议，同时引入了一个更具挑战性的少样本跨领域任务导向型对话系统的设置。

    Jun, 2024

  • 用于开发 AI 软件领域语言模型的统一知识图谱服务

    通过使用知识图谱增强任务特定的训练程序，我们提出了 KnowledgeDA 作为一个统一而低代码的领域语言模型开发服务，实现了两个领域的语言模型学习，并进行了五项领域特定 NLP 任务的实验证明。

    Dec, 2022

  • TaskMix: 口语意图理解元学习的数据增强

    本论文探讨了元学习在传递相关任务的知识方面的研究方向，发现在低任务多样性下，最先进的数据增强方法会恶化过拟合问题；为此，提出了一种称为 TaskMix 的简单方法以缓解过拟合问题和改善性能。

    Sep, 2022

  • 面向文档级机器翻译的目标端增强

    提出了目标端数据增强的数据稀疏性问题解决方法，通过生成多个潜在翻译来训练机器翻译模型，从而减少数据稀疏性的风险并提高翻译性能。

    May, 2023

  • DAGA: 一种基于生成方法的数据增强技术，用于低资源标注任务

    本研究提出了一种基于语言模型的数据增强方法，可以生成高质量的合成数据以提高机器学习性能，在监督和半监督学习环境下，实验结果表明，在给定较少的训练数据的情况下，该方法可以始终优于基准方法。

    Nov, 2020

  • PromDA: 一种基于提示的数据增强方法，用于低资源的自然语言理解任务

    本研究聚焦于为低资源的自然语言理解任务提供数据增强。我们提出了一种基于提示的数据增强模型（PromDA），它只在冻结的预训练语言模型（PLMs）中训练小规模的软提示（即一组可训练向量）。该方法通过两个不同的视角生成合成数据，并使用 NLU 模型过滤掉质量低的数据。在四个基准测试上进行实验，PromDA 产生的合成数据成功提升了 NLU 模型的性能，并始终优于几个有竞争力的基准模型，包括使用未标记的领域内数据的最先进的半监督模型。PromDA 产生的合成数据也是未标记的领域内数据的补充。当将这些数据与未标记的领域内数据结合使用时，NLU 模型的性能可以进一步提高。

    Feb, 2022

  • 学习增强技术以提高数据缺乏领域的 BERT 知识蒸馏

    该论文提出一种基于交叉领域数据增强的 BERT 知识蒸馏方法，借助资源丰富的源域来自动优化增强策略和提高学生模型性能，实验证明该方法优于现有方法，且在数据稀缺领域中，即使只有少量标记样本，压缩后的学生模型性能也能优于原始的大型教师模型。

    Jan, 2021