EMNLPNov, 2022

利用编码器早期融合创建全球概率空间以进行开放领域问答

PDF
TL;DR通过扩展 Transformer 编码器的能力以融合信息，使用全局表示跨样本注意所有令牌，并提出了一种更好的答案跨度概率计算方法，我们使用与综合数据增强配对的方法，在推理期间只使用 25％的参数和 35％的延迟，在自然问题数据集上的精确匹配分数达到了当前技术水平的 2.5 和 WebQuestions 数据集的 4.4。这种方法的延迟和参数节省特别适用于计算密集型应用，例如开放域问题回答。
open domain question answeringtransformer encodersglobal representationanswer span probabilitysynthetic data augmentation
发现论文，激发创造
  • 基于注意力引导的生成模型用于抽取式问答

    本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

    Oct, 2021

  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 端到端合成数据生成用于问答系统领域自适应

    本篇论文提出了一种用于合成问答数据生成的端到端方法，该模型包括一个基于 transformer 的编码器解码器网络，能够训练生成答案和问题，并且通过微调预训练的语言模型进行训练，实验结果表明，在领域适应的 QA 模型中，该生成器显著优于当前最先进的方法。

    Oct, 2020

  • KG-FiD：将知识图谱融入解码器中进行开放领域问答

    本文提出了一种新方法 KG-FiD，利用知识图谱过滤有噪声的检索段落，以及基于图神经网络的重排序方法，以提高开放域问答模型 FiD 的效率和准确性。

    Oct, 2021

  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020

  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • 基于不确定性引导的全局记忆优化多跳问答

    我们提出了一种两阶段方法 GEMFormer，首先将相关信息收集到整个文档的内存中，然后与局部上下文相结合来解决多跳问答任务。结果表明，将预训练模型进行微调，使用内存增强输入，包括一些最确定的全局元素，相对于基线在三个多跳问答数据集上提高了模型的性能。我们还发现，全局显式记忆包含了正确答案所需的支持事实的信息。

    Nov, 2023

  • 全局归一化阅读器

    通过迭代式搜索及全局归一化决策的神经网络，提出了可提取答案的问答系统并进行了数据增强及实验优化。

    Sep, 2017

  • 交叉注意力监督数据增强在问答神经检索中的应用

    通过使用数据挖掘和神经网络构建早期和晚期融合的混合模型，我们展示了一种有效的方法，可以提高在大型语料库中连续空间检索的性能

    Sep, 2020

  • 多篇章 BERT：用于开放域问答的全局归一化 BERT 模型

    本文提出了一种多样化的 BERT 模型，通过使用多个片段并全局规范化答案分数，并得到统一的分数，性能提高了 4％。通过使用段落评分器选择高质量的段落，多通道 BERT 获得了额外的 2％。实验结果表明，我们的方案在所有基准测试上均优于现有模型，特别是在 OpenSQuAD 数据集上，我们的模型比所有非 BERT 模型和基于 BERT 的模型都表现出色。

    Aug, 2019