EMNLPOct, 2020

端到端合成数据生成用于问答系统领域自适应

PDF
TL;DR本篇论文提出了一种用于合成问答数据生成的端到端方法，该模型包括一个基于 transformer 的编码器解码器网络，能够训练生成答案和问题，并且通过微调预训练的语言模型进行训练，实验结果表明，在领域适应的 QA 模型中，该生成器显著优于当前最先进的方法。
synthetic data generationtransformer-based networkqa modelsdomain adaptationstate-of-the-art methods
发现论文，激发创造
  • 使用合成数据训练问答模型

    通过利用大型语言模型，研究了模型大小、预训练模型的质量、合成数据的规模和算法选择等多个因素，缩小了人工和合成问题 - 答案对之间的差距。该研究通过模型生成的数据，在 SQuAD 数据集上实现了良好的准确率，并在 SQuAD2.0 上显示出优于以前的工作的结果。

    Feb, 2020

  • 生成、注释并使用合成数据的管道以用于现实世界中的问答

    本文介绍了如何使用合成领域特定数据集来改进问答的性能，通过实验表明使用该方法 fine-tune 下游模型的表现得到了显著的提升。

    Nov, 2022

  • 领域自适应问答的合成问题价值评估

    本文提出了一种新颖的问题价值估计器（QVE），它可以直接估计合成问题对于提高目标领域问答（QA）性能的有用性。通过综合实验，我们发现 QVE 选择的合成问题可以帮助实现比现有技术更好的目标领域 QA 表现，并且通过使用这些问题并仅使用目标领域 15％左右的人类注释，我们可以实现与完全监督基线相当的性能。

    Mar, 2022

  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 具有生成领域能力的领域自适应网络的半监督问答

    该研究探讨了半监督问答问题，在该问题中，利用无标签文本提高问答模型的性能，我们提出了一种新的训练框架，即生成领域自适应网络。该框架通过训练生成模型来生成基于无标签文本的问题，并将模型生成的问题与人类生成的问题相结合，用于训练问答模型。我们发展了基于强化学习的新领域适应算法，以减少模型生成数据分布与人生成数据分布之间的差异。实验结果表明，我们提出的框架可从无标签文本中获得显著的提高。

    Feb, 2017

  • 跨语言阅读理解的零样本多语言合成问答生成

    使用单一生成模型在大规模上生成多语言问题和答案对，通过多任务训练的生成模型来改进跨语言 QA 模型的零 - shot 表现，并在各种语言的 XQuAD 数据集上实现了较大的性能提升。

    Oct, 2020

  • 基于有限文本语料库的对比领域自适应对话回答

    本研究提出了一种名为对比领域自适应问答（CAQA）的新型领域适应框架，该框架结合了问题生成和域不变学习技术，用于在文本语料库受限的情况下回答域外问题，并且相较于现有技术取得了显著的效果改善。

    Aug, 2021

  • 零样本跨语言问答的合成数据增强

    本研究提出了一种方法来改善跨语言问答的表现，利用问答生成模型以跨语言的方式生成合成数据，无需额外标注数据，并展示了在四个多语言数据集上的表现显著优于仅使用英文数据的基线模型，创造了新的最优性能水平。

    Oct, 2020

  • 基于合成数据训练生成型问答模型

    通过使用一种简单且经济高效的方法来合成数据以训练问答系统，本文提供了一种在资源丰富的英语等语言中常用的微调 GPT 模型的培训方法，并提出了一种零样本或少样本情况下使用指导调优模型生成 QA 对的方法，并通过实验比较了从指导调优模型获得 QA 对的各种策略，结果表明，使用我们提出的合成数据训练的模型能够达到与手动策划数据集训练的模型相当的性能，而无需付出人力成本。

    Oct, 2023

  • 用合成对抗数据生成提高问答模型的鲁棒性

    本文提出一种使用合成对抗数据生成的方法来提高问题回答模型对人工对手的鲁棒性。通过将合成数据引入训练，成功地将对人工对手的鲁棒性提高了大约一倍。

    Apr, 2021