Jun, 2023

基于提示的填空数据增强生成式少样本问答

PDF
TL;DR本研究开发了 Gotta，一种基于生成式提示的的数据增强框架，旨在改善 few-shot question answering 学习中深层语义推理的挑战。研究表明，Gotta 始终优于竞争基线，验证了基于提示调整的背景填充任务的有效性，在 QA 任务中学习指导推理并提高语言模型扩展任务能力的优点。
few-shot question answeringgenerative prompt-based data augmentationcloze taskprompt-tuninglanguage models
发现论文，激发创造
  • MinPrompt: 基于图的极简提示数据增强用于少样本问题回答

    该研究提出了一个基于最小数据增强框架的开放领域问答系统，通过使用近似图算法和无监督问题生成，选择最具信息量的数据集进行微调，从而在效率上实现可比较或更好的准确性，提高了 F-1 分数高达 27.5%。

    Oct, 2023

  • 对话式问答的提示引导式复制机制

    在本文中，我们提出了一种可插拔的抽取方法，引入了一种新的提示引导复制机制，以提高提取回答的流畅性和适切性。我们的方法使用提示来链接问题和答案，并利用注意力来指导复制机制，验证提取回答的自然性并进行必要的编辑，以确保回答流畅且适切。三个提示包括问题 - 理由关系提示、问题描述提示和对话历史提示，增强了复制机制的性能。我们的实验证明这种方法有效促进了自然回答的生成，并在 CoQA 挑战中取得了良好的结果。

    Aug, 2023

  • 基于填空翻译的无监督问答

    本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。

    Jun, 2019

  • 用填空翻译和一致性优化实现零样本通识常识问答

    本研究针对常识问题回答（Commonsense question answering）的挑战，提出了利用预训练语言模型中的 “隐含知识”，通过四种翻译方法，探索如何更好地调动语言模型中的常识知识。研究通过在零样本情况下对三个 CQA 数据集进行实验，证明了该方法对增强模型的性能十分有效，并且结合外部知识库进一步提高了模型性能。同时，文章还分析了各种填空翻译方法的不同特点和优缺点。

    Jan, 2022

  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • 基于提示的少样本问答合成数据生成

    使用大型语言模型在少样本学习 Set 中提高问题回答的性能。

    May, 2024

  • 利用少样本数据增强和逐层引导的响应生成

    本文讨论使用主观知识进行任务导向型对话建模的方法，重点关注回答生成。我们通过广泛的数据分析确定了回答长度、情感和对话行为等关键因素，并使用少样本学习来增强数据。我们提出了三种方法应用于 DSTC11：（1）任务特定模型探索，（2）将最频繁的问题纳入所有生成的回答，以及 （3）结合了 GPT-3 和 ChatGPT 的瀑布提示技术。

    Aug, 2023

  • 关于故事理解中可控问答生成的少样本提示

    基于儿童故事文本，本研究提出了一种少样本提示策略来控制生成问题 - 回答对，并通过实证评估表明，与参考模型相比，该策略在语义接近度评估以及问题 - 回答对的多样性和连贯性等场景中有效地将生成过程控制在一定范围内。

    Apr, 2024

  • 通过提示进行弱监督的对话理解数据增强

    本论文探讨了在缺少数据资源的情况下，利用预先训练好的语言模型进行对话理解中的数据增强的问题，并提出了一种利用弱监督滤波器迭代增强质量的新方法。实验结果表明，在 DailyDialog 和 Facebook 多语言任务导向对话的情感、行为和意图分类任务上使用少量数据作为辅助训练集，可以达到或超过现有的最佳性能。

    Oct, 2022

  • 问答生成模型

    本研究通过使用编码 - 解码模型，结合复制机制和覆盖向量维护，实现了生成式问答，并在 MS-MARCO 数据集上验证了该方法的出色表现。

    Nov, 2017