在自然语言处理领域，机器阅读理解（MRC）存在着重大挑战。尽管主流的 MRC 方法主要使用仅编码器模型（如 BERT）利用抽取策略，但生成式方法面临着超出控制的生成问题 —— 这是一个关键问题，生成的答案经常是不正确、不相关或与源文本不一致。为了解决生成式 MRC 模型的这些局限性，我们引入了 Question-Attended Span Extraction（QASE）模块。在经过预训练的生成式语言模型（PLM）的微调阶段集成 QASE 模块，显著提高了它们的性能，使它们能够超越像 GPT-4 这样的先进大型语言模型（LLMs）的抽取能力。值得注意的是，这种性能提升并没有增加计算需求。QASE 模块的有效性已经在各种数据集上进行了严格的测试，始终实现甚至超越最先进的结果（SOTA）。

Apr, 2024

该论文介绍了一种名为 KECP 的新框架以解决机器阅读理解中的抽取式问答任务中的少样本学习问题，通过转换任务为非自回归掩码语言建模生成问题，并引入外部知识库和上下文来增强嵌入的查询表示，同时通过对比学习目标和 MLM 目标的联合训练来提高 PLMs 的性能。该方法在多个基准测试中都表现出了明显优于最先进方法的性能。

May, 2022

我们提出了一种称为 “Query Latent Semantic Calibrator (QLSC)” 的新方法，作为现有 MRC 模型的辅助模块，通过一种独特的缩放策略捕捉查询的潜在语义中心特征，并使用注意机制将这些特征与传统的查询和段落嵌入无缝集成，从而加深了对语义查询 - 段落关系的理解，降低了对文本格式变化的敏感性，提高了模型在准确定位答案方面的能力。实验结果验证了我们的方法在处理格式变异但语义相同的查询方面的有效性和适应性。

Apr, 2024

为了解决目前 NLP 任务中缺乏大规模私有文本数据和知识共享的问题，研究人员提出了 FedQAS，这是一种隐私保护的机器阅读系统，可以利用大规模的私有数据进行机器阅读。该系统结合了 Transformer 模型和联邦学习技术，并使用 FEDn 框架开发和实现。在 SQuAD 数据集上进行的参考评估表明，FedQAS 能够克服数据隐私问题，在联邦学习环境中实现联盟成员之间的知识共享。

Feb, 2022

最近提出的长篇问答（QA）系统，在大型语言模型（LLMs）的支持下，展示了令人期待的能力。然而，为其生成的抽象回答归因和验证可能困难，并且自动评估其准确性仍然是一个持续的挑战。在这项工作中，我们介绍了一个新的 QA 任务，通过半抽取方式总结多个多样化的来源来回答多回答问题。具体来说，半抽取多源 QA（SEMQA）要求模型输出一个综合回答，同时混合了由给定的输入来源直接拷贝的事实引用片段和将这些片段连接成一个连贯段落的非事实自由文本连接器。这个设置弥合了受基于事实抽取的 QA 系统约束的输出与更流畅但更难以归因的完全抽象回答之间的差距。特别地，它利用了语言模型的先进语言生成能力的新模式，同时通过设计产生易于验证、解释和评估的细致内联归因。为了研究这个任务，我们创建了第一个这样类型的数据集 QuoteSum，其中包含人工编写的对自然问题和生成问题的半抽取回答，并定义了基于文本的评估指标。在不同设置下尝试了几个 LLM 后，我们发现这个任务出人意料地具有挑战性，这展示了 QuoteSum 用于开发和研究这种整合能力的重要性。

Nov, 2023

使用自我监督的方法在预训练过程中引入两个任务强化证据提取，从而增强证据提取能力，以提高 Pre-trained Language Models 在机器阅读理解方面的表现。

May, 2021

该论文研究了使用问答的方式表示语义关系，并从三个任务的角度分析了如何最好地利用 seq2seq 预训练语言模型的威力。最终提出了一个综合文本信息的模型，并发布了具有实用性的 QASem 分析工具。

May, 2022

运用大语言模型生成的查询扩展可以显著增强信息检索系统，但由于模型的知识有限，导致扩展与检索语料库之间存在错位、产生幻觉和过时信息等问题。为了解决这些挑战，本文提出了基于语料库导向的查询扩展方法，利用大语言模型的相关性评估能力系统地识别初始检索文档中的关键句子，并将这些基于语料库的文本与大语言模型扩展的结果一起用于查询扩展，从而提高查询和目标文档之间的相关性预测。通过广泛的实验证明，该方法在没有任何训练的情况下表现出强大的性能，尤其适用于大语言模型缺乏知识的查询。

Feb, 2024

在自然语言处理的问答任务中，本文的关键方向是提高表示质量和效率，通过挑战现有的问题 - 答案编码惯例，探索更精细的表示方法，并测试了不同池化方法和知识图谱的集成对于性能的影响，结果显示这些方法在提高内存效率的同时，性能上有较小牺牲，大大增加了吞吐量。

Mar, 2024

本文介绍了一种新颖的方法，利用预训练的生成模型来解决抽取式問答任务，通过生成与回答的上下文标记或句子相对应的索引，实现了在多个抽取式問答数据集上优于现有 state-of-the-art 模型的卓越性能。

Nov, 2023