Oct, 2022

机器阅读理解的模块化方法：任务感知专家混合

PDF
TL;DR该论文介绍了一个针对较小数据集的任务感知专家网络混合模型，重点研究常识学习问题，并通过训练不同的专家网络来捕获每个段落、问题和选项三元组之间不同类型的关系，同时灵感来自多任务和迁移学习的最新进展。通过将多个网络融合，强制实现它们的特定目标和关系，作者达到了最先进的结果并减少了过拟合。
mixture of task-aware experts networkmachine reading comprehensioncommon-sense learningmultitask learningtransfer learning
发现论文，激发创造
  • 利用多任务学习将关系知识纳入常识阅读理解

    本文提出了一种将外部关联知识与多任务学习相结合的方法，以提高机器阅读理解的效果，并在两个多选基准数据集上进行了实验，结果表明该方法在常识推理方面表现优异。

    Aug, 2019

  • MMM：多选阅读理解的多阶段多任务学习

    本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法，其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。

    Oct, 2019

  • 机器阅读理解中的双向问答网络

    该论文提出了一种新颖的双向神经序列转换模型，能够同时学习阅读理解中的三种知识输入方式，即问题、答案和上下文，并通过分层注意力过程对不同形态之间的交互信息进行捕捉和建模。该模型在四个公开数据集上的表现优于其他同类神经网络模型，尤其在问题回答和生成双方面具有更广泛的应用前景。

    Sep, 2018

  • SemEval-2018 第 11 项任务中的 HFL-RC 系统：用于常识阅读理解的混合多方面模型

    本文介绍了一种基于神经网络的 Hybrid Multi-Aspects (HMA) 模型，用于改进机器阅读理解中的多选题预测，该模型在 SemEval-2018 任务 11 中取得了 83.97% 的准确度，超过了基准系统和其它竞争对手。

    Mar, 2018

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 使用任务级别 Mixture-of-Experts 挖掘和理解跨任务技能

    本文介绍了一种针对 NLP 任务的基于任务级别的专家混合模型，该模型使用一组具有灵活性的 Transformer 层和一个路由组件进行任务分配，其表现优于传统的多任务学习模型，同时也发现保留人类任务分类方法对提高模型性能有一定帮助。

    May, 2022

  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • 神经级联多提及学习用于阅读理解

    本文提出了一种以级联模型组合轻量级的前馈网络为基础构建的答案提取算法，可以从文本中获取多次对同一问题的提及与信息聚合，并在 TrivaQA 数据集上表现优异。

    Nov, 2017

  • 双路协同匹配网络用于多项选择阅读理解

    本文提出了一种新的机器阅读理解方法 —— 双向联合匹配网络 (DCMN)，该方法在多项选择阅读理解数据集 (RACE) 上取得了 state-of-the-art 结果，并计算出了同时同时考虑文章、问题和答案的相互关系的表示方法。

    Jan, 2019

  • 多任务学习中基于样本重新加权的机器阅读理解

    本研究提出了一种多任务学习框架，用于学习一个联合的机器阅读理解模型，可应用于不同领域的阅读理解任务。研究采用了样本分配权重的方法，并结合预训练语言模型（如 ELMo），在一组阅读理解数据集上实现了新的最佳效果。

    Sep, 2018