本文提出了细粒度的门控机制来动态地组合基于单词属性的单词级别和字符级别表示,以提高阅读理解任务的性能,并将细粒度门控的思想扩展到建立问题和段落之间的交互模型。实验结果显示,我们的方法可以在阅读理解任务中提高性能,获得儿童读物测试数据集的最新结果。此外,我们还展示了在社交媒体标签预测任务上的改善结果证明了我们的门控机制的通用性。
Nov, 2016
本研究针对阅读理解任务过往的机器学习研究,发现所使用的预训练词向量和测试时的未登录词处理方法等看似微小的选择,比起架构选择对最终性能的影响更大。我们对这些选择进行系统探讨,为从事该领域研究的学者提供建议。
Mar, 2017
本文提出了一种用于机器理解阅读测试的科学方法,引入了新颖的词法控制机制,通过注意力机制和记忆网络指导机器进行交互式阅读,并添加检查层来细化答案以提高正确性,实验证明该方法在SQuAD和TriviaQA两个常用数据集上的表现优于大多数现有的解决方案。
Oct, 2017
论文研究了使用神经网络和预训练语言模型来提取文件中问题的答案,通过提供丰富的上下文表示并允许模型在上下文相关和上下文无关的单词表示之间进行选择,可以获得比现有技术更好的性能。
Dec, 2017
本文提出了一种使用子词而非字符的词嵌入增强方法,以增强阅读理解模型。 在不同的扩充策略下,该方法在公共数据集上显着优于现有的基线模型。
Jun, 2018
通过利用子词增强嵌入式框架,本文介绍了一种学习和合成计算产生的子词级别表示的新方法,经过在英文和汉语测试基准上的各种文本理解任务中的实验测试,发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。
Nov, 2018
本文对2016年到2020年间关于机器阅读理解方面的241篇论文进行了全面的调查,探讨了机器阅读理解的不同方面,包括方法、结构、输入/输出和研究的创新之处,并论述了研究的重点发生了变化,从答案提取到答案生成,从单一到多文档阅读理解,从零开始学习到使用预训练的嵌入。同时我们还讨论了这个领域中的流行数据集和评估指标,最后还研究了最常被引用的论文及其贡献。
Jan, 2020
本文介绍了利用多个神经网络模型对低资源语言(越南语)中的多项选择机器阅读理解的影响进行的实验,其中使用了六种不同的越南语单词嵌入和BERT模型,在ViMMRC语料库上的测试集中,BERT模型的准确率为61.28%。
Aug, 2020
本研究针对机器阅读理解任务应用对抗训练(AT)作为一种正则化方法,提出一种基于嵌入矩阵扰动而非单词向量的新型对抗训练方法 PQAT,测试结果显示对抗训练对跨领域具有普适性,PQAT 方法进一步提高了性能。
Jun, 2021
研究提出在编码层注入多粒度信息来提高机器阅读理解系统的性能,并在实验中得出结果证明该方法适用于许多现有的MRC模型。
Nov, 2022