Mar, 2023

评估语言模型用于知识库补全

PDF
TL;DR本文介绍了一种更具挑战性的基准数据集和方法，用于评估语言模型在无监督知识库补全方面的潜力，并发现了语言模型在补全 Wikidata 中 nativeLanguage、usedLanguage 和 citizenOf 等关系方面表现出强大的泛化能力。
发现论文，激发创造
  • 评估 GPT 的知识库完善潜力

    结构化知识库与语言模型的能力评估，发现 GPT-3 等模型可用于在大规模公开知识库 Wikidata 上进行知识补全，提高精度并增加了 2700 万条事实。

    Oct, 2023

  • 长尾实体的知识库补全

    本文提出了一种基于语言模型的知识库完成方法，针对长尾实体的事实，该方法利用两个不同的语言模型进行候选检索和候选验证和消歧，通过评估我们的方法和不同的基线，引入一个名为 MALT 的基于 Wikidata 的数据集，我们的方法在 F1 中优于所有基线，尤其是在召回率方面有很大提升。

    Jun, 2023

  • 语言模型作为知识库的综述

    本文回顾了最近关于使用预先训练的自然语言处理语言模型作为知识库的文献，提出了应该具备的一些方面，探讨了这种方法相较于传统知识库的优势在于无需人工监督进行的无监督学习。

    Apr, 2022

  • 利用大型语言模型进行知识工程（LLMKE）：基于 Wikidata 的案例研究

    使用大型语言模型（LLMs）进行知识工程任务（ISWC 2023 LM-KBC 挑战中），通过预训练的 LLMs 生成相关的字符串格式对象，并将其与相应的 Wikidata QIDs 进行关联，证明了 LLMs 在自动知识库（例如 Wikidata）完成和纠正方面具有潜在的贡献。

    Sep, 2023

  • mOKB6：一个多语言的开放知识库完整性评测基准

    利用跨语言的开放信息提取的最新进展，通过多语言代词消解和保留仅有实体链接三组，构建了第一个含有六种语言的全面的开放式知识库 (mOKB6)，并通过基线模型的实验进行分析。

    Nov, 2022

  • KoLA：大型语言模型世界知识的精细基准测试

    我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

    Jun, 2023

  • LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库

    使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型，通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体，并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。

    Aug, 2023

  • 语言模型能成为医学知识库吗？

    通过创建生物医学知识三元组的基准测试 BioLAMA，研究了预训练语言模型是否可用作具有生物医学特定领域知识的知识库。发现在近期提出的探测方法下，生物医学语言模型可以在检索生物医学知识方面取得 18.51% 的精确度，但多数预测与无主题的提示模板高度相关，因此限制了它们作为特定领域知识库的能力。

    Sep, 2021

  • 语言模型在规模上是否能充当知识库？

    大型语言模型在理解和生成复杂查询方面表现出了卓越的能力，但它们在存储、回忆和推理大规模结构化知识方面的有效性仍有待研究，本研究发现虽然大型语言模型有望作为大规模知识库灵活地检索和回答问题，但需要增强它们的推理能力以充分发挥潜力。

    Feb, 2024

  • 基于上下文语言模型的关系世界知识表示：一次综述

    该综述着重探讨如何通过训练深度上下文语言模型，在没有人为限制下更灵活地内部化和表达关系知识，对知识表示策略进行分类，提出了高层次的可扩展分类法，并强调了当前语言模型在知识表示方面的能力与未来的研究方向。

    Apr, 2021