基于子词增强嵌入的填空阅读理解
本文研究了如何在文档中回答填空题的问题,通过引入多跳结构和基于参考嵌入和递归神经网络的新型注意力机制,我们的Gated-Attention Reader模型能够生成查询特定的文档表示来准确地选择答案,并在三个基准数据集上获得最新的结果。
Jun, 2016
本文提出了一种名为Attention-over-Attention Reader的模型,该模型针对Cloze-style阅读理解任务,在文档级别注意力的基础上加入了另一层注意力机制,用以预测正确答案,实验结果表明该模型在CNN和Children's Book Test等公开数据集上明显优于现有的各种最先进系统。
Jul, 2016
本文提出了细粒度的门控机制来动态地组合基于单词属性的单词级别和字符级别表示,以提高阅读理解任务的性能,并将细粒度门控的思想扩展到建立问题和段落之间的交互模型。实验结果显示,我们的方法可以在阅读理解任务中提高性能,获得儿童读物测试数据集的最新结果。此外,我们还展示了在社交媒体标签预测任务上的改善结果证明了我们的门控机制的通用性。
Nov, 2016
本研究针对阅读理解任务过往的机器学习研究,发现所使用的预训练词向量和测试时的未登录词处理方法等看似微小的选择,比起架构选择对最终性能的影响更大。我们对这些选择进行系统探讨,为从事该领域研究的学者提供建议。
Mar, 2017
论文研究了使用神经网络和预训练语言模型来提取文件中问题的答案,通过提供丰富的上下文表示并允许模型在上下文相关和上下文无关的单词表示之间进行选择,可以获得比现有技术更好的性能。
Dec, 2017
本文提出了一种字符增强的阅读器,结合字和字符嵌入的不同集成策略,用一份短列表来增强字嵌入,从而改善字的表示,特别是罕见的字。实验结果表明,这种方法显著优于各种公共基准测试中的当前最先进方法。
Aug, 2018
通过利用子词增强嵌入式框架,本文介绍了一种学习和合成计算产生的子词级别表示的新方法,经过在英文和汉语测试基准上的各种文本理解任务中的实验测试,发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。
Nov, 2018
本文研究了如何通过自动化数据增强和提出多种QA攻击来增强阅读理解模型的鲁棒性,同时提高其在源域、新领域和不同语言中的泛化性能。结果表明,采用学习的增强策略可以显著提高模型在各种领域和语言中的性能。
Apr, 2020
本文介绍了我们在SemEval-2021任务4中的方法,使用transformers-based模型和词汇数据库进行阅读理解,包括用于模拟不可感知性的语言特征和用于模拟非特定性的信息,并提出了改进的变体,同时论文也介绍了一些对预测解释的技术。在测试集中,任务一和任务二的最佳成果为75.31%和77.84%,而任务三的最佳成果为65.64%和62.27%。
Feb, 2021
本文提出了Clozer,一种基于序列标注的填空答案提取方法,用于TAPT从而提高模型性能,并在多项选择式MRC任务上进行了实验,证明Clozer在能够独立识别黄金答案的同时,提高了TAPT的有效性。
Mar, 2022