AAAIDec, 2020

用于评估机器阅读理解的语义修改技术

PDF
TL;DR本研究调查了最先进的机器阅读理解模型是否能够正确处理修改语义的现象，并提出了一种用于评估模型能力的新方法。对 12 种不同的神经体系结构配置和四个训练数据集进行大规模实证研究后，发现尽管这些模型在性能方面表现出色，但它们仍然难以正确处理语义上的改变。
nlpmachine reading comprehensionsemantics altering modificationsevaluation methodologyneural architecture
发现论文，激发创造
  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • 机器阅读理解：上下文语言模型的作用与发展

    本篇综述论文全面比较了机器阅读理解的研究，主要介绍了它的起源、发展历程、对 NLP 社区的影响、定义、数据集、技术方法、研究亮点，并提出了新的分类和分类法，认为机器阅读理解将浅层文本匹配转化为认知推理的领域，同时也深化了从语言处理到语言理解的进展。

    May, 2020

  • 教模型在理解文档后回答问题

    提出了一种两阶段知识蒸馏方法，通过将 MRC 任务分为两个单独阶段教导模型更好地理解文档，实验结果表明，使用该方法装备的学生模型具有显著的改进，证明了该方法的有效性。

    Jul, 2023

  • 机器阅读理解 Gold 标准评估框架

    本论文提出了一个统一框架来系统研究现有的语言特征、推理需求、背景知识和事实正确性以及词汇线索的存在。研究结果发现 MRC 数据存在词汇歧义、答案事实正确性的差异和词汇线索的存在，这些都可能降低阅读理解的复杂性和质量。

    Mar, 2020

  • 一种软证据抽取的机器阅读理解自训练方法

    本研究提出了一种名为自学习方法的新技术，通过自动生成的证据标签迭代地监督证据提取器，从而提高了现有机器阅读理解模型的性能

    May, 2020

  • 神经机器阅读理解：方法与趋势

    本文综述了深度学习在机器阅读理解 (MRC) 中的应用，包括典型的 MRC 任务、神经网络 MRC 的体系结构和新兴领域。文章指出了未来需要解决的问题。

    Jul, 2019

  • 机器阅读理解模型鲁棒性基准测试

    本文提出了一个新的基准数据集 AdvRACE，用于测试机器阅读理解模型在模拟的并非完全准确的测试环境下的鲁棒性，通过提供不同类型的对抗攻击测试，包括基于新的分散干扰的抽取和生成攻击，并表明现有的最先进模型都非常容易受到这些攻击的影响。

    Apr, 2020

  • 学习语义解耦表示以实现多语言机器阅读理解中的零样本跨语言转移

    本文提出一种新颖的多语言机器阅读理解框架，配备 Siamese Semantic Disentanglement Model（SSDM），用于在多语言预训练模型中学习的表示中分离语义和句法，以明确将语义知识转移到目标语言；实验证明，该方法比基于 mBERT 和 XLM-100 的模型更为有效。

    Apr, 2022

  • Smarnet: 让机器像人类一样阅读和理解

    本文提出了一种用于机器理解阅读测试的科学方法，引入了新颖的词法控制机制，通过注意力机制和记忆网络指导机器进行交互式阅读，并添加检查层来细化答案以提高正确性，实验证明该方法在 SQuAD 和 TriviaQA 两个常用数据集上的表现优于大多数现有的解决方案。

    Oct, 2017

  • 带信息搜索代理的交互式机器阅读理解

    通过重新设计现有的机器阅读理解数据集，将其转化为互动、部分可观察的环境，加入上下文命令并训练模型，有望将模型扩展到面向 Web 级别的 QA 场景。

    Aug, 2019