使用实例捆绑进行阅读理解学习

Apr, 2021

Learning with Instance Bundles for Reading Comprehension

Dheeru Dua, Pradeep Dasigi, Sameer Singh, Matt Gardner

TL;DR该篇研究论文提出由反差估计引申出的几种新的监督技术，结合多个相关实例中的问题 - 答案得分，对非独立问题进行训练并加入交叉熵损失项，在 HotpotQA 和 ROPES 两个数据集上获得了高达 11% 的绝对精度提升。

Abstract

When training most modern reading comprehension models, all the questions associated with a context are treated as being independent from each other. However, closely related questions and their corresponding answers are not independent, and leveraging these relationships could provide

reading comprehension supervision signal contrastive estimation question-answer scores instance bundles

发现论文，激发创造

基于监督对比学习的长文本问答

本文提出一种新的方法，通过在 fine-tuning 过程中为模型提供对比监督信号，通过最大化问题 - 证据的相似性，明确区分支持证据句子和负面证据句子，从而为长上下文问答模型提供更好的支持证据识别，取得了一致的性能提升。

Dec, 2021

构建跨文档多跳阅读理解数据集

该研究提出了一项新的任务，以鼓励模型跨多个文档进行文本理解并探究现有方法的限制。该任务要求模型学习查找和组合证据，从而实现多跳（别名为多步）推理，但两个先前的竞争性模型都在选择相关信息方面遇到了困难。

Oct, 2017

机器阅读理解中的双向问答网络

该论文提出了一种新颖的双向神经序列转换模型，能够同时学习阅读理解中的三种知识输入方式，即问题、答案和上下文，并通过分层注意力过程对不同形态之间的交互信息进行捕捉和建模。该模型在四个公开数据集上的表现优于其他同类神经网络模型，尤其在问题回答和生成双方面具有更广泛的应用前景。

Sep, 2018

通过可微分奖励模仿学习生成自包含且以概括为中心的问答对

本文提出了一种通过问答对生成自包含、以摘要为中心的问题和长度受限、文章概括性答案的模型，该模型通过一个新的数据集学习 QA 生成模型，利用可微分的奖励函数增强 QA 生成过程以减轻曝光偏差的影响。自动度量和人类评估都表明这些 QA 交成功能够捕捉文章的重点并实现高准确度的答案。

Sep, 2021

半监督式填空式阅读理解的多角度上下文聚合

本文提出了一种新颖的多角度框架，用于衡量自然语言理解的进展，并在 CLOTH 数据集上实现了最新的最佳表现。

Aug, 2018

注意力求和读者网络的文本理解

该研究提出了一种使用注意力机制直接从文本中选取答案的模型，特别适用于以文本中某个单词为答案的问题，并在多个数据集上取得了新的最优成绩。

Mar, 2016

自然语言问题回答问题的集成方法

该研究利用神经注意力机制提高机器阅读理解和问答的准确性，分析和比较多种神经网络模型，将其组成集成模型并在 SQUAD 数据集上测试，结果表明集成模型优于最佳模型 Mnemonic Reader。

Aug, 2019

句对打分：迈向文本理解的统一框架

本文提出新的统一框架，比较了常见的 IR 度量和神经模型在多个句子对分数任务和数据集上的性能，并尝试通过发布新的数据集来改进比较。我们提出了一种统一的开源软件框架，具有易于插拔的模型和任务，使我们能够尝试使用训练好的句子模型进行多任务复用并在 Ubuntu 对话数据集上提出了新的最优结果。

Mar, 2016

从阅读器向检索器提取知识以作问答之用

本文提出了一种受到知识蒸馏启发的学习信息检索器的技术，在没有标注的查询和文档对的情况下，利用阅读器模型的注意力分数来获得检索器的合成标签，用于下游任务，最终在问题回答方面达到了最先进的结果。

Dec, 2020

概率假设很重要：改进远程监督的文档级问答模型

本文介绍了一种使用 document-level distant super-vision 解决抽取式问答问题的方法，该方法通过将问题及相关文档与答案字符串配对来实现。作者比较了概率空间和远程 supervisions assumptions 的区别，并证明了不同配置提供互补的益处。他们展示了一种多目标模型，可以高效地结合多个假设的优点并表现出更好的性能，超过了此前在 TriviaQA-Wiki 中各方面表现最好的模型 4.3 个 F1 点和 NarrativeQA 摘要中的 1.7 个 Rouge-L 点。

May, 2020