问题生成的合成上下文生成
本论文提出 CONDA 方法以生成虚拟数据，并通过将结构放在 QA 对上并使用 QA 数据集来训练上下文生成器来进一步提高生成语言模型的能力，通过将下游任务转化为相同的问答格式并调整上下文生成器适应目标任务域，使用精调的生成语言模型生成相关上下文，这些上下文作为相应任务的虚拟训练数据，在多个分类数据集上进行实验，显示出在几乎零样本和少样本设置中的性能显着改进，分析表明要求高级推理能力的 QA 数据集（例如，抽象和常识 QA 数据集）在几乎零样本和少样本设置中都能显着改进性能。
May, 2022
通过使用同义词替换的方法，该研究提出了一种简单但有效的数据增强方法，以缓解问题生成模型的生成偏差并改善阅读理解模型在低重叠词汇样本上的性能下降问题。
Sep, 2021
我们生成了一个包含超过 200 万个问题 - 答案对的大型综合多模态数据集 SK-VQA，该数据集需要外部知识来确定最终答案。通过广泛的实验，我们证明我们的合成数据集不仅可以作为一个具有挑战性的基准测试，而且对于调整现有的生成性多模态模型以进行上下文增强生成也非常有效。
Jun, 2024
本文旨在建立三种不同的 QAG 方法的基线，利用序列到序列语言模型进行微调。实验证明，一种端到端的 QAG 模型，它在训练和推理时计算量都很轻，通常是稳健的，并且胜过其他复杂的方法。然而，这取决于底层生成模型的不同。最后，我们的分析表明，仅基于生成的问答对微调的 QA 模型可以与人类标注数据上训练的监督 QA 模型具有竞争力。
May, 2023
大型语言模型在提升效果方面，通过融合生成的上下文和检索的上下文具有显著偏差，这是因为生成的上下文更接近问题，而检索的上下文被分割过程干扰，了解了 LLM 是如何整合不同的上下文，为 LLM 的当前增强方法提供了有价值的认识。
Jan, 2024
本研究提出了一种基于语义加强的奖励机制和基于 QA 的评估方法，用于解决问题生成中的语义漂移问题，并解决传统评价指标不足的问题，同时提出了两种合成 QA 对的方法，有效的用于半监督 QA 学习中。
Sep, 2019
通过使用一种简单且经济高效的方法来合成数据以训练问答系统，本文提供了一种在资源丰富的英语等语言中常用的微调 GPT 模型的培训方法，并提出了一种零样本或少样本情况下使用指导调优模型生成 QA 对的方法，并通过实验比较了从指导调优模型获得 QA 对的各种策略，结果表明，使用我们提出的合成数据训练的模型能够达到与手动策划数据集训练的模型相当的性能，而无需付出人力成本。
Oct, 2023
本文提出了一种新的封闭式问答模型，旨在通过对比学习和答案重构模块更好地理解长形式摘要回答的语义并在其参数中存储更多信息，通过实验验证了该模型在公共数据集和新的 WikiCQA 数据集上的有效性，并展示了如何利用该模型改进现有的问答系统。
Oct, 2022
提出使用 GPT-3 等大型语言模型来进行问题生成并采用多个（伪）参考答案进行评估，以更全面地评估 QG 技术潜力的方法。实验结果表明，使用多个参考答案进行 QG 评估比使用单个参考答案更为有效，并且更能与人类评估相符合。
May, 2023
该研究使用多问题生成模型 (mQG) 从给定的上下文生成多样且可回答的问题，并通过 SQuAD2.0 fine-tuned 模型验证问题的可回答性，该模型在 FairytaleQA 数据集上训练和评估，并在 TellMeWhy 和 SQuAD1.1 数据集上进行了零 - shot 适应，显示出与强基线方法相比有希望的结果。
Oct, 2023