长篇文档的分层问答
该论文旨在将神经段落级问题回答模型适应于以整个文档作为输入的情况,通过使用共享标准化训练目标,从多个段落中选择样本并鼓励模型产生全局正确的输出,该方法结合最先进的文档 QA 数据模型进行训练,实验证明了其在多个文档 QA 数据集上具有强大的性能表现,只需训练模型即可实现从 56.7 F1 到 71.3 F1 的大幅提高。
Oct, 2017
本文提出了一种新的多粒度机器阅读理解框架,利用图注意力网络对文档的不同层次进行建模,以同时学习各个级别的表示,从而提取长答案和短答案并建模其之间的依赖关系,并通过联合训练来显著提高对两种类型答案的准确性。
May, 2020
本文旨在通过运用多阶段关注机制和序列到序列模型,在长文档的背景下产生更真实的问题,结果表明在 SQuAD、MS MARCO 和 NewsQA 三个问答数据集上,该方法优于现有方法。
Oct, 2019
本文针对 RNN 读取长文本过慢的问题,提出一种改进的 LSTM 模型,在保持相同或者更好的准确性的情况下,速度比标准的序列 LSTM 快多达 6 倍,适用于数字预测、情感分析、新闻文章分类和自动问答任务。
Apr, 2017
本文提出了一种基于强化学习的粗到精问答(CFQA)系统,使用多步骤的深度强化学习模型来处理文档,可以处理较短或较长的文档,相较于先前的 QA 模型,在 WIKEREADING、WIKIREADINGLONG、CNN 和 SQuAD 等四个 QA 数据集上得到了 1.3%-1.7% 的准确率和 1.5 倍至 3.4 倍的训练速度改善。
Jun, 2021
本研究提出一种深度串级学习模型来平衡在线问答系统的效能和效率之间的基本权衡,在多文档的 MRC 场景中取得更好的效果并能够在不到 50 毫秒内稳定地为数百万日请求提供服务。
Nov, 2018
本研究提出了一个包含超过 120k 个人工标注问题的大规模组合式问答数据集,回答在此数据集上的问题需要组合文档中的若干段落来生成最终答案。本文针对该问题提出了一种基于图神经网络的层次预训练模型,并在预训练和机器阅读理解领域中取得了巨大的提升。
Jan, 2021
本文提出了一种新颖的分层注意力网络,用于阅读理解式问题回答,在问题和段落之间的不同粒度层次上水平和垂直进行注意力和融合。通过具有精细语言嵌入的问题和段落的编码,引入多粒度融合方法来全面融合来自全局和受关注表示的信息。最后,引入分层注意力网络,通过多级软对齐逐步聚焦于答案跨度。广泛的实验在大规模 SQuAD 和 TriviaQA 数据集上验证了所提出方法的有效性,同时在 TriviatQA、AddSent 和 AddOne-Sent 数据集上达到了最先进的结果。
Nov, 2018
本文针对 SQuAD 数据集所提出的答案抽取任务,通过循环网络有效地构建了证据文档中所有跨度的固定长度表示,证明对显式跨度表示进行评分显著优于其他方法,并在 Wang&Jiang(2016)的最佳已发布结果上提高了 5%,并且将 Rajpurkar 等人的基线误差减小了 50%以上。
Nov, 2016
本文提出了一种基于递归神经网络的模型,可以根据答案生成自然语言问题,并介绍了一种使用监督学习和强化学习相结合的方式对模型进行训练,然后通过策略梯度技术微调模型以最大化几个衡量问题质量的奖励,其中一个奖励是一个问题回答系统的表现,并通过最近的问答数据集 SQuAD 对模型进行了训练和评估。
May, 2017