Oct, 2021

基于注意力引导的生成模型用于抽取式问答

PDF
TL;DR本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。
transformer modelsquestion answeringpretrained generative modelscross-attentionhallucination-free inference
发现论文，激发创造
  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 一种上下文感知的交互问答注意力网络

    该研究开发了一种基于上下文依赖词级别注重和问题引导的句子级别注意力的新型模型，以更准确地理解文本，加强上下文建模，可以在交互式问答场景中处理不完整或模糊信息，大大提升了传统 QA 模型的表现。

    Dec, 2016

  • 问答和问题生成的联合模型

    本文提出一种生成式机器理解模型，用于同时学习根据文档提问和回答问题，采用序列到序列框架编码文档并生成问题，模型在 SQuAD 语料库上获得显著性能提升，实验证明，模型在同时学习两个任务方面受益。我们认为这种联合模型的新颖性提供了一个超越架构工程的机器理解视角，是实现自主信息寻找的第一步。

    Jun, 2017

  • 一个面向问题的多要素注意力网络用于问答

    本文提出一种新颖的端到端问题聚焦的多因素注意网络，用于回答提问文本中的问题，通过张量变换实现多因素关注编码，以对散布在多个句子中的信息进行建模，并采用最大化注意聚合机制来对提问文本进行编码，从而实现对问题类型的隐式推断，并在三个大型挑战性问题回答数据集中实现了显著的性能提升。

    Jan, 2018

  • 学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势

    本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

    Nov, 2019

  • 利用编码器早期融合创建全球概率空间以进行开放领域问答

    通过扩展 Transformer 编码器的能力以融合信息，使用全局表示跨样本注意所有令牌，并提出了一种更好的答案跨度概率计算方法，我们使用与综合数据增强配对的方法，在推理期间只使用 25％的参数和 35％的延迟，在自然问题数据集上的精确匹配分数达到了当前技术水平的 2.5 和 WebQuestions 数据集的 4.4。这种方法的延迟和参数节省特别适用于计算密集型应用，例如开放域问题回答。

    Nov, 2022

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 问答生成模型

    本研究通过使用编码 - 解码模型，结合复制机制和覆盖向量维护，实现了生成式问答，并在 MS-MARCO 数据集上验证了该方法的出色表现。

    Nov, 2017

  • 基于检索式问答系统的答案生成

    本文通过提出一种基于序列到序列变换器模型的答案生成方法，从 AS2 候选中生成答案，并在三个英文 AS2 数据集上进行测试，结果显示本方法的准确率在现有技术水平上提高了 32 个绝对值的水平。

    Jun, 2021