ACLSep, 2020

MaP: 基于矩阵的预测方法，提高机器阅读理解中的跨度抽取

PDF
TL;DR本文提出了一种基于概率矩阵和基于采样训练策略的跨度抽取方法，该方法在四个问答基准数据集中得到了持续的改进，展示了该方法的有效性。
span extractionmachine reading comprehensionprobability matrixsampling-based trainingquestion answering
发现论文，激发创造
  • 学习循环跨度表示与摘要式问答

    本文针对 SQuAD 数据集所提出的答案抽取任务，通过循环网络有效地构建了证据文档中所有跨度的固定长度表示，证明对显式跨度表示进行评分显著优于其他方法，并在 Wang＆Jiang（2016）的最佳已发布结果上提高了 5％，并且将 Rajpurkar 等人的基线误差减小了 50％以上。

    Nov, 2016

  • 机器阅读理解的多角度上下文匹配

    在 SQuAD 数据集上，我们提出了一种多角度上下文匹配模型，它是一种端到端系统，可以直接预测文本段落中答案的起点和终点。我们的模型通过使用双向 LSTM 来编码问题和加权段落，利用多个角度将文本上下文与编码问题进行匹配，并生成一个匹配向量，最终利用另一个双向 LSTM 汇总所有信息并预测起点和终点。在 SQuAD 测试集上，实验结果显示我们的模型达到了领先位置的竞争力。

    Dec, 2016

  • 用问题关注的段落抽取增强预设的生成式语言模型在机器阅读理解中的应用

    在自然语言处理领域，机器阅读理解（MRC）存在着重大挑战。尽管主流的 MRC 方法主要使用仅编码器模型（如 BERT）利用抽取策略，但生成式方法面临着超出控制的生成问题 —— 这是一个关键问题，生成的答案经常是不正确、不相关或与源文本不一致。为了解决生成式 MRC 模型的这些局限性，我们引入了 Question-Attended Span Extraction（QASE）模块。在经过预训练的生成式语言模型（PLM）的微调阶段集成 QASE 模块，显著提高了它们的性能，使它们能够超越像 GPT-4 这样的先进大型语言模型（LLMs）的抽取能力。值得注意的是，这种性能提升并没有增加计算需求。QASE 模块的有效性已经在各种数据集上进行了严格的测试，始终实现甚至超越最先进的结果（SOTA）。

    Apr, 2024

  • S-Net：从答案抽取到答案生成的机器阅读理解模型

    本文提出了一种新的机器阅读理解方法，使用抽取 - 综合框架来解决 MS-MARCO 数据集的问题，该方法使用先进的神经网络技术来构建具有单篇阅读理解的答案抽取模型，并使用序列到序列神经网络作为答案综合模型，实现了对多篇文献的问答。实验结果表明，这种方法的性能超过了现有的最佳方法。

    Jun, 2017

  • 一种简单有效的多跨度问题回答模型

    本文提出了一种新方法，通过将阅读理解中的多串问题视为序列标注问题，使得模型不再局限于输出单一连续结果，而是可以输出多个分散的结果，实验结果在 DROP 和 Quoref 数据集上分别提升了 9.9 和 5.5 个 EM 点。

    Sep, 2019

  • 使用 Match-LSTM 和答案指针 的机器阅读理解

    提出了一个基于匹配式 LSTM 和 Pointer Net 的神经网络结构，用于机器理解文本，能够在 Stanford Question Answering Dataset 数据集上对传统的逻辑回归与手工特征提取方法结果有显著的提升。

    Aug, 2016

  • 基于多语言 BERT 的跨语言跨度预测监督式词对齐方法

    本文提出了一种基于跨语言跨度预测的新型监督词对齐方法，使用基于多语言 BERT 的 SQuAD v2.0 风格问答任务解决了此问题，并在中英、日、德、罗、法等五个词对齐数据集上实验证明，该方法显著优于以前的监督和非监督方法，而无需使用双语语料进行预训练。

    Apr, 2020

  • 基于查询的跨度预测的指代消解

    本文对实体语义的问题提出一个可扩展且高准确率的解决方法，利用生成的查询可以深入分析文本中的语义，进行连词识别，以此提高模型的泛化能力。

    Nov, 2019

  • 基于 Span 的组合推理的语义解析

    本研究提出了 SpanBasedSP，这是一种基于跨度的解析器，用于语义分析，并且能够更好地进行组合概括。SpanBasedSP 在几个数据集上进行测试，表现出与强 seq2seq 基线相当的效果，并且在需要进行组合概括的情况下，与基线相比有显著的性能优势。

    Sep, 2020

  • 问题回答的跨度选择预训练

    本篇论文提出了一种新的预训练模型 SSPT，即 Span Selection Pre-Training，通过将预训练模型任务转换为阅读理解，从而提高 BERT 及其他预训练模型的学习能力，实验证明该方法对于数据集有限的场景下表现尤为出色。

    Sep, 2019