May, 2024

知：用于大型语言模型知识捕捉的实用本体论

PDF
TL;DR我们介绍了知识导航本体（知识世界导航本体），这是第一个旨在捕捉日常知识以增强大型语言模型（LLM）在个人 AI 助手等实际生成 AI 应用场景中使用的本体。我们的领域是人类生活，包括日常关注和重要里程碑。我们仅模拟既定的人类普遍性概念：时空（地点、事件）和社交（人员、群体、组织）。模拟概念的包含标准是实用主义的，从普遍性和实用性开始。我们比较并对比了先前的工作，比如 Schema.org 和 Cyc，以及知识图谱和语言模型的综合尝试，指出 LLM 已经在内部编码了花费数十年时间才在 Cyc 项目中捕捉到的常识性知识。我们还提供了用于 12 种最流行编程语言的由代码生成的软件库，以便在软件工程中直接使用本体概念。我们强调简单性和开发者体验，以促进人工智能的互操作性。
knowledge navigator ontologylarge language modelsgenerative ai use casesontologysoftware engineering
发现论文，激发创造
  • 大型语言模型的基于本体的符号知识捕获

    使用本体和知识图谱方法从用户提示中捕获个人信息，通过使用具有建模个人信息的知识本体的子集训练语言模型，并评估使用特殊构建的数据集捕获知识的成功。

    May, 2024

  • 大型语言模型向人类类似的概念组织收敛

    大型语言模型在知识提取、推理和对话方面显示出与人类相似的表现，但是它们的表现究竟是通过记忆和模式匹配来解释的，还是反映了人类般的推理语义和世界知识，存在争议。本文展示了大型语言模型学习以类似于知识库的方式组织概念，这些知识库提供了推理语义和世界知识的大规模高质量表征。大型语言模型似乎从原始文本中引出这种知识，而更大更好的模型表现出更符合人类的概念组织，涵盖了四个系列的语言模型和三个知识图谱嵌入。

    Aug, 2023

  • 大型知识模型：视角与挑战

    人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

    Dec, 2023

  • 知识导航器：利用大型语言模型增强知识图推理

    本文提出了一种名为 KnowledgeNavigator 的新型框架，通过从知识图中高效准确地检索外部知识并将其作为增强 LLM 推理的关键因素，以解决 LLM 在需要长逻辑链或复杂推理的场景中所存在的幻觉和知识限制的问题。通过对给定问题的潜在约束进行挖掘和增强，KnowledgeNavigator 指导推理过程；然后，在 LLM 和问题的指导下，通过对知识图上的迭代推理来检索和过滤支持回答的外部知识；最后，KnowledgeNavigator 将结构化知识构建为对 LLM 有利的有效提示，以帮助其推理。实验证明该框架在多个公开的知识图问答基准测试上具有很高的效果和泛化能力，优于之前的知识图增强 LLM 方法，并且与完全监督模型相媲美。

    Dec, 2023

  • KoLA：大型语言模型世界知识的精细基准测试

    我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

    Jun, 2023

  • 全球知识要素（EWOK）：一种受认知启发的框架，用于评估语言模型中的基本世界知识

    使用 Elements of World Knowledge (EWOK) 框架和 EWOK-CORE-1.0 数据集，对 20 个开源的大型语言模型进行评估，发现这些模型在世界建模能力上比人类表现差异较大，从而提供了研究大型语言模型的世界建模能力的丰富方向。

    May, 2024

  • ALCUNA：大型语言模型迎接新知识

    提出了一个名为 KnowGen 的方法来生成新知识，并引入了一个名为 ALCUNA 的基准来评估大规模语言模型在处理新知识方面的能力，发现它们在处理新知识的推理方面表现不佳，并探索了实体相似性对模型对实体知识的理解以及上下文实体的影响。

    Oct, 2023

  • CogNet: 联接语言知识、世界知识和常识知识

    本论文介绍了 CogNet 知识库，它致力于整合来自 FrameNet、YAGO、Freebase、DBpedia、Wikidata 和 ConceptNet 的三种知识类型：语言知识、世界知识和常识知识，以实现不同类型知识的一致性建模。我们提出了一种三层统一的框架式表示架构，并在此基础上提出了一种混合自动标注和众包注释的策略，以将自由形式的常识知识与其他结构化知识集成。CogNet 目前集成了 1000 + 个语言语义框架，2000 万 + 个世界级实例，以及 90,000 + 个常识知识断言。这些数据可以在我们的在线平台上轻松查询和探索，并可以以 RDF 格式免费下载以在 CC-BY-SA 4.0 许可下使用。

    Mar, 2021

  • 用于开发 AI 软件领域语言模型的统一知识图谱服务

    通过使用知识图谱增强任务特定的训练程序，我们提出了 KnowledgeDA 作为一个统一而低代码的领域语言模型开发服务，实现了两个领域的语言模型学习，并进行了五项领域特定 NLP 任务的实验证明。

    Dec, 2022

  • Text2KGBench：基于本体驱动的文本知识图谱生成基准

    该研究论文介绍了 Text2KGBench 这个基准评估工具，可以评估语言模型的能力，从自然语言文本中生成知识图谱，并根据本体论从文本中提取事实。研究还提供了基准模型的结果和显示了使用语义网和自然语言处理技术，可以进一步提高模型性能的潜力。

    Aug, 2023