应用知识库的自然语言处理模型概述：文物检索

Jan, 2022

应用知识库的自然语言处理模型概述：文物检索

Artefact Retrieval: Overview of NLP Models with Knowledge Base Access

Vilém Zouhar, Marius Mosbach, Debanjali Biswas, Dietrich Klakow

TL;DR本文系统性地描述了 NLP 模型中知识库及其检索机制的类型、设计模式和用于模型的融合方法，并揭示了尚未尝试的设计决策组合。此外，还展示了问题回答、事实检查和具有知识对话模型在系统中的适用性，并呈现了能够描述不同任务的模型结构的抽象模型。

Abstract

Many nlp models gain performance by having access to a knowledge base. A lot of research has been devoted to devising and improving the way the knowledge base is accessed and incorporated into the model, resultin

nlp models knowledge base retrieval mechanisms language models architecture

发现论文，激发创造

语言模型作为知识库的综述

本文回顾了最近关于使用预先训练的自然语言处理语言模型作为知识库的文献，提出了应该具备的一些方面，探讨了这种方法相较于传统知识库的优势在于无需人工监督进行的无监督学习。

Apr, 2022

语言模型作为知识库吗？

通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

Sep, 2019

机器知识：全面知识库的创建和维护

这篇文章概述了创建和管理大型知识库的基本概念和实践方法，重点介绍了发现和规范实体及其语义类型、自动提取基于实体的属性以及构建开放架构和知识管理的方法。

Sep, 2020

爬取语言模型的内部知识库

从语言模型中提取出的事实知识，通过提出的一种 `爬网` 方法，形成了知识图谱，并证明该方法达到了高精度（82-92%），同时每个实体形成的事实数量也是合理的。

Jan, 2023

结合预训练语言模型和结构化知识

本文调查了将结构化知识集成到现有的语言模型中的各种方法，并确定了挑战和可能的机会，发现利用基于适配器的注入仍有机会，并且可能将多种探索过的方法进一步结合成一个系统。

Jan, 2021

预训练语言模型在知识密集型自然语言处理中的研究调查

本文介绍了基于预训练语言模型的知识增强模型（PLMKEs）的当前进展，并通过分析三个重要组成部分：知识来源，知识密集型 NLP 任务和知识融合方法来介绍其挑战和未来方向。

Feb, 2022

以事实为专家：基于符号知识的可适应和可解释神经记忆

该论文提出了一种神经语言模型，该模型在符号可解释事实信息和亚符号神经知识之间包括显式接口，可以通过操作其符号表示更新并覆盖已有的知识，进而显著提升知识密集型问题的问答性能。

Jul, 2020

语料库结构、语言模型和即席信息检索

本文提出了一种基于语言模型的信息检索算法框架的新方法，并将类似文档群的信息整合进去以提高检索效果；实验结果表明，即使是此新方法中的较简单算法也能优于标准语言模型方法，并且我们的新插值算法在所有测试语料库中均能显著提高精度和召回率表现。

May, 2004

语言模型的物理学：3.1 部分，知识存储与提取

通过对半合成的传记数据进行深入研究，我们发现大语言模型的知识提取能力与训练数据的多样性之间存在着关联，同时通过 (几乎) 线性推测发现模型是否线性地编码实体名称的隐藏嵌入中的知识属性，或者在训练文本中其他标记的嵌入之间存在着强相关性。

Sep, 2023

语言模型作为知识库：关于实体表示、存储容量和重述查询

本研究探讨基于预训练语言模型作为知识库的 Paradigm，提出两个基本要求：存储大量涉及大量实体的事实和查询存储的事实的能力，并探索了三种实体表示法，提供了一个实证，证明语言模型确实可以作为知识库。

Aug, 2020