Sep, 2023

语料库与知识库连接中的数据分布瓶颈

PDF
TL;DR语言模型在理解和生成自然语言和形式语言方面已经展示出了显著的能力。然而，它们与大规模知识库等真实环境的整合仍然是一个不发达的领域，影响着语义解析等应用，并导致 “幻觉” 信息的产生。本文是一项实验性研究，旨在揭示语言模型在知识库问答方面所遇到的鲁棒性挑战。研究覆盖了在训练和推理之间具有数据分布不一致的场景，例如对未见领域的泛化，适应各种语言变体，以及在不同数据集之间的可转移性。我们的综合实验揭示出，即使采用了我们提出的数据增强技术，先进的小型和大型语言模型在各个维度上表现出较差的性能。尽管语言模型是一项有前途的技术，但由于数据分布问题，目前形式的鲁棒性在处理复杂环境时是脆弱的且实用性有限。这要求未来在数据收集和语言模型学习范例方面进行进一步的研究。
language modelsknowledge basequestion answeringdata distributionrobustness
发现论文，激发创造
  • 灵活结构化的知识驱动问答

    本文提出了一种使用语言模型结合知识进行基于知识的问答的方法，其中包括知识构建方法和深度融合机制，可以优雅地提取结构数据和提高模型性能。

    Sep, 2022

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • 增强 LLMs 与知识：关于幻觉防止的调查

    将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

    Sep, 2023

  • DIVKNOWQA: 通过知识库和文本进行开放领域问答评估 LLM 的推理能力

    大型语言模型在生成能力方面表现出色，但当仅依赖其内部知识时，容易出现幻觉，尤其是在回答需要不太常见的信息的问题时。基于检索的大型语言模型已经成为将其与外部知识结合的潜在解决方案，然而，最近的方法主要强调从非结构化文本语料库进行检索，忽视了底层结构。此外，当前领域存在一个显著的差距，即缺乏对异构知识源（如知识库和文本）上的大型语言模型进行有效定位的实际基准数据集。为了填补这一空白，我们精心策划了一个综合数据集，提出了两个独特挑战：（1）需要从开放域结构化和非结构化的知识源中检索信息的两跳多源问题，正确回答问题需要从结构化知识源中检索信息；（2）符号化查询（例如用于 Wikidata 的 SPARQL）的生成是一个关键要求，增加了额外的挑战。我们的数据集通过预定义的推理链自动生成和人工注释相结合的方式创建，我们还引入了一种新颖的方法，利用多个检索工具，包括文本段落检索和符号化语言辅助检索。我们的模型在解决上述推理挑战方面优于以往的方法。

    Oct, 2023

  • LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库

    使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型，通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体，并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。

    Aug, 2023

  • 语言模型作为知识库的综述

    本文回顾了最近关于使用预先训练的自然语言处理语言模型作为知识库的文献，提出了应该具备的一些方面，探讨了这种方法相较于传统知识库的优势在于无需人工监督进行的无监督学习。

    Apr, 2022

  • 语言模型作为知识库：关于实体表示、存储容量和重述查询

    本研究探讨基于预训练语言模型作为知识库的 Paradigm，提出两个基本要求：存储大量涉及大量实体的事实和查询存储的事实的能力，并探索了三种实体表示法，提供了一个实证，证明语言模型确实可以作为知识库。

    Aug, 2020

  • 知识融合与大型语言模型的趋势：方法、基准和应用的调查和分类

    通过综述知识融入大型语言模型的趋势、方法分类、基准和应用，本文概述了该研究领域的全貌，并指出了未来的研究方向。

    Nov, 2023

  • 生成数据增强利用 LLMs 改善问答中的分布鲁棒性

    通过实验证明生成数据对阅读理解数据集的扩充可以更好地提高对自然分布变化的鲁棒性。

    Sep, 2023

  • 评估语言模型用于知识库补全

    本文介绍了一种更具挑战性的基准数据集和方法，用于评估语言模型在无监督知识库补全方面的潜力，并发现了语言模型在补全 Wikidata 中 nativeLanguage、usedLanguage 和 citizenOf 等关系方面表现出强大的泛化能力。

    Mar, 2023