EMNLPOct, 2022

一种高效的记忆增强转换器，用于知识密集型 NLP 任务

PDF
TL;DR提出了 Efficient Memory-Augmented Transformer (EMAT) 作为一种结合参数式模型和检索式增强模型的方法，有效地利用外部知识源以提高自然语言处理任务的准确性和计算效率。通过将外部知识编码为键值内存，并利用内积搜索来查询，使用预训练任务编码有信息的键值表示，并学习将多个内存插槽集成到变压器中的隐式策略，EMAT 在众多知识密集型任务上取得了更准确的结果。
natural language processingquestion answeringdialogueefficient memory-augmented transformerkey-value memory
发现论文，激发创造
  • MATTER: 基于异构知识源的记忆增强 Transformer

    通过使用多种异构知识源，我们引入了一种高效的记忆增强变压器（MATTER）来检索相关知识，以在知识密集型任务中提高准确性和速度。

    Jun, 2024

  • 利用 QA-Memory 增强预训练语言模型以进行开放域问答

    本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

    Apr, 2022

  • 键 - 值记忆增强的神经机器翻译

    提出了一种基于键值记忆的注意力机制模型用于神经机器翻译，通过维护及时更新的键内存来跟踪注意力历史和固定值内存来存储源语句的表示，在两个记忆之间进行非平凡的转换和迭代交互，以便每个解码步骤时，可以关注更合适的源单词来预测下一个目标单词从而提高翻译的适用性。在中英文和 WMT17 德英翻译任务的实验结果表明了所提出的模型的优越性。

    Jun, 2018

  • 扩展心智转换器

    预训练语言模型在推理时过长的输入会迅速成为记忆信息的瓶颈。本文提出了一种简单的方法，使用记忆转换器给模型提供预先计算的记忆库，通过批判性评估定位编码应如何更新以检索关键信息，而非使用外部嵌入。我们展示了在大多数解码器层中检索外部信息的重要性，并公开了一个新的反事实长距离检索基准。实验证明，扩展心智转换器在平均性能上超过了当今的最先进水平。

    Jun, 2024

  • 提及记忆：通过实体提及注意力将文本知识融入 Transformers

    该论文提出了一种利用 Transformer 模型中的半参数表示以及文本语料库的 “指向记忆” 来提取多个文本来源的事实信息的方法，称为 TOME，并在多个实验中证明其在自然语言理解任务中的优异表现。

    Oct, 2021

  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022

  • KAT：一种知识增强的视觉与语言 Transformer 模型

    本文介绍了一种新型多模态转换方法 - 知识增强变压器（KAT），该方法在 OK-VQA 上取得了强有力的最新结果，同时还提高了模型预测的可解释性。

    Dec, 2021

  • 基于表格或文本的参数高效抽象问答

    本文研究如何利用少量参数来实现在结构化表格数据和非结构化文本数据上执行抽象问答（QA）的编码器 - 解码器模型，通过在转换器层之间添加和训练小型任务特定的瓶颈层来实现参数节约。通过在编码器和解码器模块上消融适配器层，研究了效率与性能之间的权衡，证明将可训练参数减少到 0.7％ -1.0％可以产生可比较的结果，实证表明所提模型在 Tablesum 和 FeTaQA 等表格 QA 数据集上优于当前最先进的模型，并在 NarrativeQA 等文本 QA 数据集上实现了可比性能且训练参数明显少于针对性 fine-tuning 方法。

    Apr, 2022

  • 记忆增强生成对抗变换器

    本研究探讨了在 Transformers 基础上添加额外的记忆库和注意力层以解决生成语言中的外部数据整合问题，并展示了该方法在处理事实问题和风格适应应用中的实用性。

    Feb, 2024

  • KETM：一种知识增强的文本匹配方法

    文本匹配是将两段文本进行匹配并确定它们之间的关系的任务，本文提出了一种名为知识增强文本匹配模型（KETM）的新模型，通过从外部知识源中丰富上下文表示来增强模型的理解和推理能力。实验证实了我们的模型在四个数据集上表现良好，并且与不添加外部知识的基础模型相比，我们的方法的性能得到了提高。

    Aug, 2023