基于预训练生成模型的问题回答适应性

EMNLPNov, 2023

基于预训练生成模型的问题回答适应性

Adapting Pre-trained Generative Models for Extractive Question Answering

Prabir Mallick, Tapas Nayak, Indrajit Bhattacharya

TL;DR本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

Abstract

pre-trained generative models such as BART, T5, etc. have gained prominence as a preferred method for text generation in various natural language processing tasks, including abstractive long-form question answering (QA) and summarization. However, the potential of generative models in

pre-trained generative models extractive qa tasks discriminative models label sparsity multi-span answers

发现论文，激发创造

基于注意力引导的生成模型用于抽取式问答

本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

Oct, 2021

基于 Transformer 的语言模型在抽取式问答中的比较研究

本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021

为复杂信息抽取任务微调和对齐问答模型

使用提取式 QA 模型进行特征提取的方法可改善德语商业文档的信息提取，并通过微调现有德语 QA 模型提高性能，同时还讨论了评估信息提取任务的相关度得分指标。

Sep, 2023

GSQA：生成式口语问答的端到端模型

近期关于口语问答方面的研究表明，最新的端到端模型在提问回答方面取得了显著的进展，尤其是在提取性问题的选择上。然而，先前的研究主要集中在提取性问题上，这种基于提取的方法在直接提取答案的情况下是有效的，但在涉及抽象问题且答案不可直接提取的情况下则存在不足。为了弥补这一差距，我们首次引入了第一个端到端生成式口语问答模型（GSQA），以增强系统的抽象推理能力。我们的 GSQA 模型训练的挑战在于缺乏口语抽象问答数据集。我们建议使用文本模型进行初始化，并利用基于提取的问答数据集将文本生成模型的知识转移到口语生成模型上。实验结果表明，我们的模型在基于提取的问答数据集上的性能超过了先前的提取性模型 3％。此外，GSQA 模型仅在口语提取性问答数据集上进行了微调。尽管没有见过任何口语抽象问答数据，它仍然能够与级联模型的性能高度匹配。总而言之，我们的 GSQA 模型展示了到广泛问题范围的泛化潜力，从而进一步扩展了抽象问答的口语问答能力。

Dec, 2023

明智选择 QA 模型：问题回答中生成式和抽取式读者系统性研究

探索提取式阅读器和生成式阅读器在问题回答中的应用，尤其是围绕预训练语言模型的变化对两种阅读器的性能表现进行了比对，并且研究了多任务学习对回答的影响。

Mar, 2022

利用检索句子生成模板的方式提高无监督问答

我们提出了一种无监督训练 QA 模型的方法，该方法使用生成的伪数据训练，为 QA 训练生成问题，通过对相关检索到的句子应用简单模板，而非原始上下文句子来实现，从而使模型能够学习更复杂的上下文问题关系。使用这些数据训练 QA 模型可在 SQuAD 数据集上获得 14％的 F1 分数相对提高，并且在答案为命名实体时提高 20％，从而实现无监督 QA 的最新性能。

Apr, 2020

问答生成模型

本研究通过使用编码 - 解码模型，结合复制机制和覆盖向量维护，实现了生成式问答，并在 MS-MARCO 数据集上验证了该方法的出色表现。

Nov, 2017

基于统一查询的生成模型，用于问题生成和问题回答

我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务，在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

Sep, 2017

XAIQA：用于提取式问答的基于解释器的数据增强

使用医疗记录自然可用的数据，XAIQA 通过分类模型解释器生成大规模的合成问答对，提升了 GPT-4 作为抽取式问答模型的性能。

Dec, 2023

用问题关注的段落抽取增强预设的生成式语言模型在机器阅读理解中的应用

在自然语言处理领域，机器阅读理解（MRC）存在着重大挑战。尽管主流的 MRC 方法主要使用仅编码器模型（如 BERT）利用抽取策略，但生成式方法面临着超出控制的生成问题 —— 这是一个关键问题，生成的答案经常是不正确、不相关或与源文本不一致。为了解决生成式 MRC 模型的这些局限性，我们引入了 Question-Attended Span Extraction（QASE）模块。在经过预训练的生成式语言模型（PLM）的微调阶段集成 QASE 模块，显著提高了它们的性能，使它们能够超越像 GPT-4 这样的先进大型语言模型（LLMs）的抽取能力。值得注意的是，这种性能提升并没有增加计算需求。QASE 模块的有效性已经在各种数据集上进行了严格的测试，始终实现甚至超越最先进的结果（SOTA）。

Apr, 2024