ACLOct, 2021

追溯起源：具有共指关注的机器阅读理解

PDF
TL;DR本文介绍了一种模拟人类阅读过程并利用实体的指代信息来增强预训练语言模型中的词嵌入以提高模型性能的方法，头两种微调方式，即在预训练模型后添加额外的编码器层以关注实体的指代提及或构建关系图卷积网络来建模实体间的关系。结果表明，在微调阶段明确加入指代信息的方法比在预训练中加入指代信息的方法表现更好。
machine reading comprehensionpretrained language modelscoreference informationfine-tuning strategiesrelational graph convolutional network
发现论文，激发创造
  • Quoref：一个需要共指推理的阅读理解数据集

    提供一个新的众包数据集，用于多句理解文本，涉及复杂的指代消解，旨在评估阅读模型解决指代消解的能力，与现有的基准模型相比，该模型表现显著更好。

    Aug, 2019

  • 机器阅读理解中的共指推理

    本文认为使用 MRC 数据集评估 coreference reasoning 能力是有限的，提出了更能反映 coreference reasoning 挑战的 MRC 数据集构建方法，并使用先前 coreference resolution 数据集中的自然现象，展示了训练 MRC 模型的有效方式，并取得了 state-of-the-art models 的改进。

    Dec, 2020

  • GPT 知道谁是谁

    通过问题引导的工程方法，我们测试了更大的模型对 coreference resolution 任务的可行性，研究表明，GPT-2 和 GPT-Neo 可以返回有效的答案，但其识别 coreferent mentions 的能力受到提示敏感性的限制，导致结果不一致。

    May, 2022

  • 使用共指的多提及推理神经模型

    本文提出了一种针对 NLP 中需要汇总来自远处的同一实体的信息的情况的循环层，该层使用外部系统提取的指代注释连接属于同一簇的实体提及，并将其合并到最先进的阅读理解模型中，从而改善了 Wikihop、LAMBADA 和 bAbi 人工智能任务的性能，并且可在数据稀缺时获得大的收益。

    Apr, 2018

  • 从填空到理解：将预训练的语言模型改装为预训练的机器阅读器

    我们提出了 Pre-trained Machine Reader (PMR)，这是一种新方法，旨在将预训练的语言模型（PLMs）转换为机器阅读理解（MRC）模型，而无需获取标记数据， 显示出在包括提取问题回答和命名实体识别在内的提取任务上的显着改进。

    Dec, 2022

  • 语言表征的指代推理学习

    本文提出了一种新的语言表征模型 CorefBERT，可以在捕获上下文中的语义信息的同时，明确处理代词消解，实现语篇的一致理解，并在各种需要代词推理的下游 NLP 任务中获得显著的改善。

    Apr, 2020

  • 评估和改进机器翻译模型的指代消解能力

    本文评估了机器翻译 (MT) 模型从隐含信号中学习共指消解的能力，并探究了如何将共指消解模型的输出整合到 MT 模型中以提高翻译质量。研究结果表明，单语共指消解模型的性能远远优于 MT 模型。

    Feb, 2023

  • C-MORE: 通过查询数百万参考文献进行预训练以回答开放领域问题

    本文介绍了一种使用维基百科引用构建大规模预训练语料库以满足开放域问答系统的需求的方法，并测试了改进后的 retriever 和 reader 在精确度和 top-20 准确率方面的表现。

    Mar, 2022

  • 无需跨度表示的共指消解

    本篇论文介绍了一种轻量级端到端的共指消解模型，该模型不再需要手工特性和启发式算法，也省去了动态构建范围和范围对表示所需的内存，相比当前标准模型具有更简单和高效的特点。

    Jan, 2021

  • 面向推理的阅读理解：ParallelQA

    探讨了端到端神经机器阅读理解模型倾向于匹配浅层模式而非推理，同时提出了利用平行语段来进行参照推理问题的 ParallelQA 策略，并证明了现有神经模型在此设置中无法很好地泛化。

    May, 2018