我们提出了一种基于查询的生成模型,用于解决问题生成和问题回答两个任务, 在查询理解方面,该模型使用经典的编码器 - 解码器框架,通过与多个角度的文章进行匹配来执行查询理解。在进行培训时,我们利用政策梯度强化学习算法来克服暴露偏差,这是由于交叉熵损失的序列学习而引起的主要问题。
Sep, 2017
本研究通过使用编码 - 解码模型,结合复制机制和覆盖向量维护,实现了生成式问答,并在 MS-MARCO 数据集上验证了该方法的出色表现。
Nov, 2017
提出了一种基于端到端神经模型的多文本阅读理解模式,通过多个模块的共同作用来检测文本间的答案验证,实现对真实网络数据的阅读理解,显著提高了 MS-MARCO 数据集和中文 DuReader 数据集的 MRC 模型性能。
May, 2018
研究使用生成模型在开放领域问答中的表现,发现利用文本段落检索可以显著提高性能,证明生成模型擅长聚合和组合多个段落的证据,同时在 Natural Questions 和 TriviaQA 开放式基准测试中取得最好的结果。
Jul, 2020
本文旨在研究不同的方法将检索到的段落与大型语言模型相结合,以提高答案生成能力,并通过综合分析和实验证明了有效利用检索到的段落来增强大型语言模型答案生成能力的见解。
Aug, 2023
本文提出了一种以级联模型组合轻量级的前馈网络为基础构建的答案提取算法,可以从文本中获取多次对同一问题的提及与信息聚合,并在 TrivaQA 数据集上表现优异。
本文提出一种新的方法,将段落建模为序列数据,并将多跳信息检索视为一种序列标记任务,从而解决传统基于图的方法存在的固有缺陷,并通过引入外部可重写记忆和阈值门机制,提高了热点问题回答数据集 HotpotQA 上的检索和下游 QA 任务的表现,并在该数据集上显著改进了现有方法的状态。
Feb, 2021
本文通过采用两塔架构来建立神经检索模型,并提出了一种新的用于检索的合成数据生成方法,显著优于基于词汇匹配算法的 BM25,并在 5 个测试数据集中平均提高 Recall@1 指标 2.45 个点。
Sep, 2020
本文介绍了第一个联合检索模型,JPR,用于多答案检索,并使用自回归评分器选择一系列段落,JPR 能够在每个时间步选择覆盖新答案的段落,并使用树解码算法增加多样性。与之前的方法相比,JPR 在三个多答案数据集上实现了显著更好的答案覆盖率,使得答案生成模型能够考虑更少的段落,从而树立了新的最佳水平。
Apr, 2021
本文提出了一种名为 GripRank 的算法,它通过从一个生成式的通道评估器到一个通道排名器的知识精华的提炼来解决候选通道在检索过程中被平等对待的问题,并通过设计一套课程知识提炼机制来提升知识的提炼质量,实现了对答案的生成和文本排名的优化,最终在 KILT 基准测试中展现出优于同类方法的结果。
May, 2023