利用 QA-Memory 增强预训练语言模型以进行开放域问答

ACLApr, 2022

利用 QA-Memory 增强预训练语言模型以进行开放域问答

Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering

Wenhu Chen, Pat Verga, Michiel de Jong, John Wieting, William Cohen

TL;DR本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

Abstract

retrieval augmented language models have recently become the standard for knowledge intensive tasks. Rather than relying purely on latent semantics within the parameters of large neural models, these methods enlist a se

retrieval augmented language models semi-parametric memory knowledge base facts q-a pairs multi-hop qa datasets

发现论文，激发创造

REALM: 检索增强语言模型预训练

本文介绍了一种利用潜在知识检索器扩充语言模型预训练，并将其应用于开放域问答任务中，实现了良好的效果和可解释性。

Feb, 2020

领域专属问答的检索增强生成

为 Adobe 产品建立内部问答系统，提出了一种新的框架来编译大型问答数据库并发展了基于检索感知的大型语言模型微调方法，展示了微调检索器在最终生成中带来的重大改进，降低了生成过程中的幻觉并在上下文中保留了最新的检索信息以实现情境基础。

Apr, 2024

ZusammenQA：专用模型数据增强的跨语言开放检索问答系统

该论文提出了一种用于 COQA 多语言问题解答的系统，该系统使用多种模型变体在数据增强、语段检索和答案生成三个主要组件上进行了研究，并结合语言模型预训练和数据增强等方法有效提高了针对低资源语言的表现。

May, 2022

重塑检索增强语言模型以回答查询

该研究探讨了大型语言模型的实际效果，并对比了检索增强语言模型的潜力。研究发现，与普通的大型语言模型不同，半参数语言模型将来自外部数据源的模型参数和知识结合起来进行预测。该模型通过视图、查询分析器 / 规划器和来源信息的创新应用使问题回答系统在精度和效率方面显著增强，可能还可用于其他 NLP 任务。

Jun, 2023

合并生成和检索知识的开放领域问答

基于知识兼容性匹配的 COMBO 框架能够有效地利用两种信息源，改善开放领域的问答性能，并在四项测试问答基准中有三个的竞争对手表现更好，特别在存在较高程度知识冲突的场景中表现出更大的功效。

Oct, 2023

检索有益还是有害？对语言模型检索增强效果的深入研究

通过研究大型语言模型的自身限制以及外部信息检索的有效性，本研究构建了一个新的问答数据集 WiTQA，以探索实体和关系的组合对于信息检索和知识回忆方面的影响，从而提出了一个基于实体和关系频率的自适应检索系统。

Feb, 2024

MATTER: 基于异构知识源的记忆增强 Transformer

通过使用多种异构知识源，我们引入了一种高效的记忆增强变压器（MATTER）来检索相关知识，以在知识密集型任务中提高准确性和速度。

Jun, 2024

一种高效的记忆增强转换器，用于知识密集型 NLP 任务

提出了 Efficient Memory-Augmented Transformer (EMAT) 作为一种结合参数式模型和检索式增强模型的方法，有效地利用外部知识源以提高自然语言处理任务的准确性和计算效率。通过将外部知识编码为键值内存，并利用内积搜索来查询，使用预训练任务编码有信息的键值表示，并学习将多个内存插槽集成到变压器中的隐式策略，EMAT 在众多知识密集型任务上取得了更准确的结果。

Oct, 2022

利用检索增强探究大语言模型的事实知识边界

大规模语言模型 (LLMs) 在解决知识密集型任务方面展示出了令人印象深刻的能力。本研究通过分析 LLMs 的事实知识边界以及检索增强对其开放领域问题回答能力的影响，揭示了 LLMs 在自信度、准确度和判断能力方面的特征。研究发现检索增强是提升 LLMs 对知识边界感知的有效方法，并且 LLMs 在生成答案时倾向于依赖检索结果，但结果质量对其依赖程度有显著影响。

Jul, 2023

基于表格或文本的参数高效抽象问答

本文研究如何利用少量参数来实现在结构化表格数据和非结构化文本数据上执行抽象问答（QA）的编码器 - 解码器模型，通过在转换器层之间添加和训练小型任务特定的瓶颈层来实现参数节约。通过在编码器和解码器模块上消融适配器层，研究了效率与性能之间的权衡，证明将可训练参数减少到 0.7％ -1.0％可以产生可比较的结果，实证表明所提模型在 Tablesum 和 FeTaQA 等表格 QA 数据集上优于当前最先进的模型，并在 NarrativeQA 等文本 QA 数据集上实现了可比性能且训练参数明显少于针对性 fine-tuning 方法。

Apr, 2022