Apr, 2024

用问题关注的段落抽取增强预设的生成式语言模型在机器阅读理解中的应用

PDF
TL;DR在自然语言处理领域，机器阅读理解（MRC）存在着重大挑战。尽管主流的 MRC 方法主要使用仅编码器模型（如 BERT）利用抽取策略，但生成式方法面临着超出控制的生成问题 —— 这是一个关键问题，生成的答案经常是不正确、不相关或与源文本不一致。为了解决生成式 MRC 模型的这些局限性，我们引入了 Question-Attended Span Extraction（QASE）模块。在经过预训练的生成式语言模型（PLM）的微调阶段集成 QASE 模块，显著提高了它们的性能，使它们能够超越像 GPT-4 这样的先进大型语言模型（LLMs）的抽取能力。值得注意的是，这种性能提升并没有增加计算需求。QASE 模块的有效性已经在各种数据集上进行了严格的测试，始终实现甚至超越最先进的结果（SOTA）。
发现论文，激发创造
  • QASE 增强的 PLM：提升 MRC 中的文本生成控制

    針對生成模型在機器閱讀理解中失控的問題，我們引入了問題關注的範圍提取 (QASE) 模塊。在預訓練生成語言模型 (PLMs) 的微調過程中，QASE 使得這些 PLMs 能夠匹配 SOTA 的範圍提取方法，在 MRC 任務中表現優於領先的 LLMs 如 GPT-4，並且不會增加顯著的計算成本。

    Feb, 2024

  • 基于预训练生成模型的问题回答适应性

    本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

    Nov, 2023

  • 基于知识增强对比提示的少样本抽取式问答

    该论文介绍了一种名为 KECP 的新框架以解决机器阅读理解中的抽取式问答任务中的少样本学习问题，通过转换任务为非自回归掩码语言建模生成问题，并引入外部知识库和上下文来增强嵌入的查询表示，同时通过对比学习目标和 MLM 目标的联合训练来提高 PLMs 的性能。该方法在多个基准测试中都表现出了明显优于最先进方法的性能。

    May, 2022

  • 提高多语言机器阅读理解答案边界检测能力

    本文提出在 fine-tuning 阶段加入两个辅助任务，建立跨语言问题 - 段落对，并结合从 web 挖掘的知识短语进行跨语言 MRC，实验证明该方法有效。

    Apr, 2020

  • 基于注意力引导的生成模型用于抽取式问答

    本文提出了一种新的方法，利用 Transformer 模型进行抽取式问答。该方法利用预训练的生成式模型，并结合内部 cross-attention 机制实现了良好的表现，同时使用较少的参数，使模型能够进行幻觉式推断，并提高模型重排相关段落的能力。

    Oct, 2021

  • 如何提升机器阅读理解模型：基于跨度对比学习的应用

    本文提出了一种基于对比学习的跨度方法（spanCL），该方法能够显式地将可回答的问题与其答案跨度级别上的可回答和不可回答的对应项进行对比，并迫使 MRC 模型察觉到多种形式的关键语义变化，实验结果表明 spanCL 在 SQuAD 2.0 数据集上比基线模型具有显著改善，使 EM 提高了 0.86-2.14 个百分点，并且 spanCL 是利用生成的问题的一种有效方法。

    Aug, 2022

  • 学习循环跨度表示与摘要式问答

    本文针对 SQuAD 数据集所提出的答案抽取任务，通过循环网络有效地构建了证据文档中所有跨度的固定长度表示，证明对显式跨度表示进行评分显著优于其他方法，并在 Wang＆Jiang（2016）的最佳已发布结果上提高了 5％，并且将 Rajpurkar 等人的基线误差减小了 50％以上。

    Nov, 2016

  • QLSC：基于查询潜在语义校准器的鲁棒抽取式问答

    我们提出了一种称为 “Query Latent Semantic Calibrator (QLSC)” 的新方法，作为现有 MRC 模型的辅助模块，通过一种独特的缩放策略捕捉查询的潜在语义中心特征，并使用注意机制将这些特征与传统的查询和段落嵌入无缝集成，从而加深了对语义查询 - 段落关系的理解，降低了对文本格式变化的敏感性，提高了模型在准确定位答案方面的能力。实验结果验证了我们的方法在处理格式变异但语义相同的查询方面的有效性和适应性。

    Apr, 2024

  • FedQAS：隐私感知的联邦学习机器阅读理解

    为了解决目前 NLP 任务中缺乏大规模私有文本数据和知识共享的问题，研究人员提出了 FedQAS，这是一种隐私保护的机器阅读系统，可以利用大规模的私有数据进行机器阅读。该系统结合了 Transformer 模型和联邦学习技术，并使用 FEDn 框架开发和实现。在 SQuAD 数据集上进行的参考评估表明，FedQAS 能够克服数据隐私问题，在联邦学习环境中实现联盟成员之间的知识共享。

    Feb, 2022

  • S-Net：从答案抽取到答案生成的机器阅读理解模型

    本文提出了一种新的机器阅读理解方法，使用抽取 - 综合框架来解决 MS-MARCO 数据集的问题，该方法使用先进的神经网络技术来构建具有单篇阅读理解的答案抽取模型，并使用序列到序列神经网络作为答案综合模型，实现了对多篇文献的问答。实验结果表明，这种方法的性能超过了现有的最佳方法。

    Jun, 2017