ACLMar, 2022

领域自适应问答的合成问题价值评估

PDF
TL;DR本文提出了一种新颖的问题价值估计器（QVE），它可以直接估计合成问题对于提高目标领域问答（QA）性能的有用性。通过综合实验，我们发现 QVE 选择的合成问题可以帮助实现比现有技术更好的目标领域 QA 表现，并且通过使用这些问题并仅使用目标领域 15％左右的人类注释，我们可以实现与完全监督基线相当的性能。
发现论文，激发创造
  • 端到端合成数据生成用于问答系统领域自适应

    本篇论文提出了一种用于合成问答数据生成的端到端方法，该模型包括一个基于 transformer 的编码器解码器网络，能够训练生成答案和问题，并且通过微调预训练的语言模型进行训练，实验结果表明，在领域适应的 QA 模型中，该生成器显著优于当前最先进的方法。

    Oct, 2020

  • 使用合成数据训练问答模型

    通过利用大型语言模型，研究了模型大小、预训练模型的质量、合成数据的规模和算法选择等多个因素，缩小了人工和合成问题 - 答案对之间的差距。该研究通过模型生成的数据，在 SQuAD 数据集上实现了良好的准确率，并在 SQuAD2.0 上显示出优于以前的工作的结果。

    Feb, 2020

  • 基于有限文本语料库的对比领域自适应对话回答

    本研究提出了一种名为对比领域自适应问答（CAQA）的新型领域适应框架，该框架结合了问题生成和域不变学习技术，用于在文本语料库受限的情况下回答域外问题，并且相较于现有技术取得了显著的效果改善。

    Aug, 2021

  • 生成、注释并使用合成数据的管道以用于现实世界中的问答

    本文介绍了如何使用合成领域特定数据集来改进问答的性能，通过实验表明使用该方法 fine-tune 下游模型的表现得到了显著的提升。

    Nov, 2022

  • 基于合成数据训练生成型问答模型

    通过使用一种简单且经济高效的方法来合成数据以训练问答系统，本文提供了一种在资源丰富的英语等语言中常用的微调 GPT 模型的培训方法，并提出了一种零样本或少样本情况下使用指导调优模型生成 QA 对的方法，并通过实验比较了从指导调优模型获得 QA 对的各种策略，结果表明，使用我们提出的合成数据训练的模型能够达到与手动策划数据集训练的模型相当的性能，而无需付出人力成本。

    Oct, 2023

  • SimVQA: 探索模拟环境进行视觉问答

    采用合成数据生成技术，利用 3D 仿真平台生成了具备多样性的数据，针对现实世界 VQA 基准测试，量化了合成数据的影响并提出了 F-SWAP 方法，以提高现有真实图像数据集的 VQA 准确性。

    Mar, 2022

  • 跨语言阅读理解的零样本多语言合成问答生成

    使用单一生成模型在大规模上生成多语言问题和答案对，通过多任务训练的生成模型来改进跨语言 QA 模型的零 - shot 表现，并在各种语言的 XQuAD 数据集上实现了较大的性能提升。

    Oct, 2020

  • 解决半监督问答中的语义漂泊问题

    本研究提出了一种基于语义加强的奖励机制和基于 QA 的评估方法，用于解决问题生成中的语义漂移问题，并解决传统评价指标不足的问题，同时提出了两种合成 QA 对的方法，有效的用于半监督 QA 学习中。

    Sep, 2019

  • 具有生成领域能力的领域自适应网络的半监督问答

    该研究探讨了半监督问答问题，在该问题中，利用无标签文本提高问答模型的性能，我们提出了一种新的训练框架，即生成领域自适应网络。该框架通过训练生成模型来生成基于无标签文本的问题，并将模型生成的问题与人类生成的问题相结合，用于训练问答模型。我们发展了基于强化学习的新领域适应算法，以减少模型生成数据分布与人生成数据分布之间的差异。实验结果表明，我们提出的框架可从无标签文本中获得显著的提高。

    Feb, 2017

  • 问题生成的合成上下文生成

    通过使用大规模语言模型生成的合成上下文进行训练，研究表明，虚拟上下文在问句生成中具有类似实际上下文的效果，为未来该领域的进一步发展铺平了道路。

    Jun, 2024