本文提出了一种名为自适应双向注意胶囊网络(ABA-Net)的新方法,通过在编码器中利用不同级别的源表示来为预测器提供不同视图,从而充分利用模型的表达能力,进而提升机器阅读理解任务的性能,实验结果表明,在 SQuAD 数据集上实现了最新的最佳性能。
Aug, 2022
本文介绍了自适应双向注意力(Adaptive Bidirectional Attention)模型用于机器阅读理解(Machine Reading Comprehension)中,通过利用不同层次的源表示来提高预测的精度并且在 SQuAD2.0 公开数据集上的实验表明,相比于之前的最先进模型,此方法的准确度提高了 2.5%EM 和 2.3%F1 分数。
Dec, 2020
本文提出在 fine-tuning 阶段加入两个辅助任务,建立跨语言问题 - 段落对,并结合从 web 挖掘的知识短语进行跨语言 MRC,实验证明该方法有效。
Apr, 2020
提出了一种两阶段知识蒸馏方法,通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档,实验结果表明,使用该方法装备的学生模型具有显著的改进,证明了该方法的有效性。
Jul, 2023
本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法,同时提取结构化变量和规则,并组成神经模块作为下游 MRC 模型的训练实例的注释,使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上,使用 26 个解释进行监督训练,该方法实现了 70.14% 的 F1 得分,与使用 1100 个标记实例的普通监督学习相比,速度提高了 12 倍。
May, 2020
本文提出了一种基于数据丰富的方法,提取给定语料对中的语义联系作为人类的通用知识,并在此基础上构建了一种知识辅助的 MRC 模型,与业内领先 MRC 模型相比具有相当的性能和更强的抗干扰能力。
Sep, 2018
本研究提出了一种多任务学习框架,用于学习一个联合的机器阅读理解模型,可应用于不同领域的阅读理解任务。研究采用了样本分配权重的方法,并结合预训练语言模型(如 ELMo),在一组阅读理解数据集上实现了新的最佳效果。
本文提出了一种将外部关联知识与多任务学习相结合的方法,以提高机器阅读理解的效果,并在两个多选基准数据集上进行了实验,结果表明该方法在常识推理方面表现优异。
Aug, 2019
本文提出了一种新的神经机器翻译方法,采用层聚合和多层注意力机制,通过引入辅助正则化项促进不同层捕获多样化信息,实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。
Oct, 2018
本研究提出一种简单而有效的方法,通过使用监督多任务学习,将 IR 和 RC 任务结合起来,以考虑答案跨度来训练 IR 组件,实现大规模机器阅读,从而取得了最先进的表现。
Aug, 2018