EMNLPAug, 2019

多篇章 BERT：用于开放域问答的全局归一化 BERT 模型

PDF
TL;DR本文提出了一种多样化的 BERT 模型，通过使用多个片段并全局规范化答案分数，并得到统一的分数，性能提高了 4％。通过使用段落评分器选择高质量的段落，多通道 BERT 获得了额外的 2％。实验结果表明，我们的方案在所有基准测试上均优于现有模型，特别是在 OpenSQuAD 数据集上，我们的模型比所有非 BERT 模型和基于 BERT 的模型都表现出色。
bert modelmulti-passageopen-domain qa taskspassage rankeropensquad dataset
发现论文，激发创造
  • 开放域多跳问答的简单而有效的桥接推理

    针对开放域多跳问答中通过阅读理解模型识别终止段落锚点的新子问题，介绍了一种新的子问题解决方案 ——“桥接推理器” 。该推理器接受一定程度的监督，通常用于训练一个 “终止段落阅读器”，从一组起始段落中提取答案，实验结果在多个数据集上优于 Baseline 方法。

    Sep, 2019

  • 利用生成模型结合段落检索进行开放域问答

    研究使用生成模型在开放领域问答中的表现，发现利用文本段落检索可以显著提高性能，证明生成模型擅长聚合和组合多个段落的证据，同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。

    Jul, 2020

  • 基于知识引导的开放领域问答中的文本检索和阅读

    本研究提出了一种基于知识库和相关文章文本联合的开放领域问答方法，通过检索和阅读一个包含文本段的图表结构，并采用跨相关段落传播信息的方式更新文本段落表示，从而在 WebQuestions、自然问题和 TriviaQA 三个任务的数据集上实现了 2-11% 的性能提升。

    Nov, 2019

  • 限制篇幅下 BERT 在非事实型问答中的研究

    研究使用 BERT 进行非事实类问题回答，重点关注在不同文本长度下的文本重排任务。通过探索 BERT 在不同的排序方法下进行微调，包括逐点和逐对方法，在现有技术上取得了显着的进展。随后，分析了 BERT 在不同文本长度下的效果，并提出了如何应对大文本数据。

    Aug, 2019

  • BERT 的文章重新排序

    本文介绍了一个基于查询的段落重排的 BERT 的简单重新实现，该系统在 TREC-CAR 数据集上处于技术先进地位，是 MS MARCO 段落检索任务排行榜中的前列，优于以前的技术领先 27%（相对于 MRR @ 10）。

    Jan, 2019

  • 开放域问答只需一个模型

    本研究提出了一种基于 transformer 架构的内部逐层注意力机制，将知识库搜索模型和重排模型整合为统一的模型，并进行端到端训练，以实现高效利用模型容量并提高梯度流量。该模型可以在固定参数预算内显著优于现有模型，达到 1.0 和 0.7 的精准匹配得分。

    Dec, 2021

  • 全局归一化阅读器

    通过迭代式搜索及全局归一化决策的神经网络，提出了可提取答案的问答系统并进行了数据增强及实验优化。

    Sep, 2017

  • 开放域问答中的答案重新排序的证据聚合

    本文提出了两种新的模型，在公开领域问答数据集中取得了最具竞争力的结果。这两种方法是使用多篇文章生成答案。

    Nov, 2017

  • 开放域问答中 BERT 微调的数据增强

    本文介绍一种利用远程监督的数据增强技术来优化基于 passage retrieval 和 BERT 阅读器的问答模型的方法，通过迭代式的参数微调方法在多个数据集上进行实验，并在英文和中文数据集上取得了明显的提升。

    Apr, 2019

  • 学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势

    本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

    Nov, 2019