该论文介绍了一种名为 KECP 的新框架以解决机器阅读理解中的抽取式问答任务中的少样本学习问题，通过转换任务为非自回归掩码语言建模生成问题，并引入外部知识库和上下文来增强嵌入的查询表示，同时通过对比学习目标和 MLM 目标的联合训练来提高 PLMs 的性能。该方法在多个基准测试中都表现出了明显优于最先进方法的性能。

May, 2022

通过重新设计现有的机器阅读理解数据集，将其转化为互动、部分可观察的环境，加入上下文命令并训练模型，有望将模型扩展到面向 Web 级别的 QA 场景。

Aug, 2019

最近提出的长篇问答（QA）系统，在大型语言模型（LLMs）的支持下，展示了令人期待的能力。然而，为其生成的抽象回答归因和验证可能困难，并且自动评估其准确性仍然是一个持续的挑战。在这项工作中，我们介绍了一个新的 QA 任务，通过半抽取方式总结多个多样化的来源来回答多回答问题。具体来说，半抽取多源 QA（SEMQA）要求模型输出一个综合回答，同时混合了由给定的输入来源直接拷贝的事实引用片段和将这些片段连接成一个连贯段落的非事实自由文本连接器。这个设置弥合了受基于事实抽取的 QA 系统约束的输出与更流畅但更难以归因的完全抽象回答之间的差距。特别地，它利用了语言模型的先进语言生成能力的新模式，同时通过设计产生易于验证、解释和评估的细致内联归因。为了研究这个任务，我们创建了第一个这样类型的数据集 QuoteSum，其中包含人工编写的对自然问题和生成问题的半抽取回答，并定义了基于文本的评估指标。在不同设置下尝试了几个 LLM 后，我们发现这个任务出人意料地具有挑战性，这展示了 QuoteSum 用于开发和研究这种整合能力的重要性。

Nov, 2023

在自然语言处理领域，机器阅读理解（MRC）存在着重大挑战。尽管主流的 MRC 方法主要使用仅编码器模型（如 BERT）利用抽取策略，但生成式方法面临着超出控制的生成问题 —— 这是一个关键问题，生成的答案经常是不正确、不相关或与源文本不一致。为了解决生成式 MRC 模型的这些局限性，我们引入了 Question-Attended Span Extraction（QASE）模块。在经过预训练的生成式语言模型（PLM）的微调阶段集成 QASE 模块，显著提高了它们的性能，使它们能够超越像 GPT-4 这样的先进大型语言模型（LLMs）的抽取能力。值得注意的是，这种性能提升并没有增加计算需求。QASE 模块的有效性已经在各种数据集上进行了严格的测试，始终实现甚至超越最先进的结果（SOTA）。

Apr, 2024

为了解决目前 NLP 任务中缺乏大规模私有文本数据和知识共享的问题，研究人员提出了 FedQAS，这是一种隐私保护的机器阅读系统，可以利用大规模的私有数据进行机器阅读。该系统结合了 Transformer 模型和联邦学习技术，并使用 FEDn 框架开发和实现。在 SQuAD 数据集上进行的参考评估表明，FedQAS 能够克服数据隐私问题，在联邦学习环境中实现联盟成员之间的知识共享。

Feb, 2022

針對生成模型在機器閱讀理解中失控的問題，我們引入了問題關注的範圍提取 (QASE) 模塊。在預訓練生成語言模型 (PLMs) 的微調過程中，QASE 使得這些 PLMs 能夠匹配 SOTA 的範圍提取方法，在 MRC 任務中表現優於領先的 LLMs 如 GPT-4，並且不會增加顯著的計算成本。

Feb, 2024

提出一种基于语义和上下文限制的表示增强方法，来改善问题回答模型的强壮性和泛化能力，通过对语义进行扰动和训练增强上下文表示来更好地区分正确答案的上下文线索，实验证明我们的方法在四个对抗性测试集上获得了显著的鲁棒性改善。

Feb, 2022

探讨了端到端神经机器阅读理解模型倾向于匹配浅层模式而非推理，同时提出了利用平行语段来进行参照推理问题的 ParallelQA 策略，并证明了现有神经模型在此设置中无法很好地泛化。

May, 2018

提出了一种利用文本的语义结构来回答多项选择题的新方法，将 QA 转化为一种满足某些全局和局部特性的最优子图的搜索问题，在科学 QA 数据集上表现良好。

Jun, 2019

本文提出了一种新颖的基于语义的问题回答方法 (SEQA)，该方法使用生成模型先产生一组可能的答案，然后基于这些可能的答案和问题在语义上的相似性来选择正确的答案。该方法在无监督的情况下，通过对四个基准数据集的实验验证了其有效性和健壮性，并取得了最佳结果。

May, 2021