利用问答数据集来改进生成型数据增强

May, 2022

利用问答数据集来改进生成型数据增强

Leveraging QA Datasets to Improve Generative Data Augmentation

Dheeraj Mekala, Tu Vu, Timo Schick, Jingbo Shang

TL;DR本论文提出 CONDA 方法以生成虚拟数据，并通过将结构放在 QA 对上并使用 QA 数据集来训练上下文生成器来进一步提高生成语言模型的能力，通过将下游任务转化为相同的问答格式并调整上下文生成器适应目标任务域，使用精调的生成语言模型生成相关上下文，这些上下文作为相应任务的虚拟训练数据，在多个分类数据集上进行实验，显示出在几乎零样本和少样本设置中的性能显着改进，分析表明要求高级推理能力的 QA 数据集（例如，抽象和常识 QA 数据集）在几乎零样本和少样本设置中都能显着改进性能。

Abstract

The ability of generative language models (GLMs) to generate text has improved considerably in the last few years, enabling their use for generative data augmentation. In this work, we propose CONDA, an approach

generative language models data augmentation question-answer pair context generation high-level reasoning

发现论文，激发创造

问题生成的合成上下文生成

通过使用大规模语言模型生成的合成上下文进行训练，研究表明，虚拟上下文在问句生成中具有类似实际上下文的效果，为未来该领域的进一步发展铺平了道路。

Jun, 2024

生成数据增强利用 LLMs 改善问答中的分布鲁棒性

通过实验证明生成数据对阅读理解数据集的扩充可以更好地提高对自然分布变化的鲁棒性。

Sep, 2023

通过生成性数据增强提高特定领域问答小语言模型的效果：Dr. LLaMA

介绍了 Dr. LLaMA，这是一种通过使用大型语言模型进行生成式数据增强来改善小型语言模型的方法，主要关注医学问答任务和 PubMedQA 数据集。研究表明，LLMs 可以有效地改善和多样化问题 - 答案对，从而在微调后使得规模更小的模型获得更好的领域特定 QA 数据集性能。该研究特别强调了在领域特定的问答任务中使用 LLMS 所面临的挑战，并建议了解决这些限制的潜在研究方向，旨在创建更高效、更有能力的专门应用模型。

May, 2023

对话生成器：基于上下文的、从文本资源中生成对话型问答数据集

为了解决 Conversational question answering (ConvQA) 中的数据稀缺问题，我们提出了一种名为 Dialogizer 的新型框架，能够从文本源自动生成具有高上下文相关性的 ConvQA 数据集。框架中结合了两种训练任务：question-answer matching (QAM) 和 topic-aware dialog generation (TDG)。在推理阶段，基于生成的问题的上下文相关性进行重排。通过使用多个领域的文档作为主要来源，使用我们的框架，我们生成了四个 ConvQA 数据集。通过多样化指标的自动评估以及人工评估，我们验证了我们提出的框架相较于基线对话修复模型具有更高质量的数据集生成能力。

Nov, 2023

生成、注释并使用合成数据的管道以用于现实世界中的问答

本文介绍了如何使用合成领域特定数据集来改进问答的性能，通过实验表明使用该方法 fine-tune 下游模型的表现得到了显著的提升。

Nov, 2022

问题生成是否可能减少问答模型的偏差？一个以问题 - 文本词汇重叠为例的研究

通过使用同义词替换的方法，该研究提出了一种简单但有效的数据增强方法，以缓解问题生成模型的生成偏差并改善阅读理解模型在低重叠词汇样本上的性能下降问题。

Sep, 2021

SK-VQA：用于训练上下文增强的多模态 LLM 的大规模合成知识生成

我们生成了一个包含超过 200 万个问题 - 答案对的大型综合多模态数据集 SK-VQA，该数据集需要外部知识来确定最终答案。通过广泛的实验，我们证明我们的合成数据集不仅可以作为一个具有挑战性的基准测试，而且对于调整现有的生成性多模态模型以进行上下文增强生成也非常有效。

Jun, 2024

基于 LM 的问答生成方法的实证比较

本文旨在建立三种不同的 QAG 方法的基线，利用序列到序列语言模型进行微调。实验证明，一种端到端的 QAG 模型，它在训练和推理时计算量都很轻，通常是稳健的，并且胜过其他复杂的方法。然而，这取决于底层生成模型的不同。最后，我们的分析表明，仅基于生成的问答对微调的 QA 模型可以与人类标注数据上训练的监督 QA 模型具有竞争力。

May, 2023

解决半监督问答中的语义漂泊问题

本研究提出了一种基于语义加强的奖励机制和基于 QA 的评估方法，用于解决问题生成中的语义漂移问题，并解决传统评价指标不足的问题，同时提出了两种合成 QA 对的方法，有效的用于半监督 QA 学习中。

Sep, 2019

基于合成数据训练生成型问答模型

通过使用一种简单且经济高效的方法来合成数据以训练问答系统，本文提供了一种在资源丰富的英语等语言中常用的微调 GPT 模型的培训方法，并提出了一种零样本或少样本情况下使用指导调优模型生成 QA 对的方法，并通过实验比较了从指导调优模型获得 QA 对的各种策略，结果表明，使用我们提出的合成数据训练的模型能够达到与手动策划数据集训练的模型相当的性能，而无需付出人力成本。

Oct, 2023