Apr, 2024

大型语言模型的水银顶层本体

PDF
TL;DR通过系统化分析大型语言模型的响应中的内在本体承诺，本文以 ChatGPT 3.5 为案例研究，探讨了这些模型尽管没有显性本体，在生成的文本中表现出的内在本体分类。本文提出了一种理解大型语言模型本体承诺的方法，通过定义本体为提供本文某些文本的本体承诺的理论来进行分析。我们调查了 ChatGPT 的本体假设并提出了一个系统化的解释，即 GPT 的顶层本体。其中包括一个可作为 OWL 文件获取的分类体系，以及关于本体假设（如关于其部分整体论或现在主义的假设）的讨论。我们展示了在某些方面 GPT 的顶层本体与现有的顶层本体非常相似。然而，由于 LLM 生成的文本具有灵活性，存在着本体过载、歧义和不一致性等重大挑战。
ontological commitmentslarge language modelsimplicit ontologychatgpttop-level ontology
发现论文，激发创造
  • 利用大型语言模型进行基于 OntoClean 的本体修正

    本研究探讨了将大型语言模型（LLMs）如 GPT-3.5 和 GPT-4 整合到本体修正过程中，特别关注 OntoClean 方法论。研究通过采用两种提示策略的 LLMs，证明了在标注过程中可以获得高准确性，并提出了开发插件软件以促进本体工具整合的潜力。

    Mar, 2024

  • 面向语言模型的本体构建

    通过查询大型语言模型，我们提出了一种用于自动构建给定领域概念层级的方法，我们使用 OpenAI 的 GPT 3.5 将该方法应用于不同领域，实验证明 LLM 在构建概念层级方面具有相当的帮助。

    Sep, 2023

  • OntoChatGPT 信息系统：本体驱动的结构化提示用于 ChatGPT 元学习

    本文提出了一种利用本体驱动的结构化提示系统与 ChatGPT 的方法，通过建立信息和功能模型的形式，实现本体驱动提示与 ChatGPT 的元学习能力的方法基础，以提高聊天机器人系统的效果和性能， 并将该技术应用于康复领域的乌克兰语，我们可以看出该方法不仅适用于 ChatGPT，还适用于其他基于 LLM 的聊天机器人系统， 为自然语言处理和对话系统带来了新的可能性。

    Jul, 2023

  • 利用大型语言模型进行本体工程

    通过自动将自然语言句子转化为描述逻辑，我们使用大型语言模型将自然语言句子转换为 OWL 功能语法，用于丰富本体论，并通过人类监督的方式提供该工具作为 Protge 插件。

    Jul, 2023

  • 面向本体增强的大型语言模型表示学习

    通过注入本体知识来改进嵌入式大语言模型（embedding-LLM），本研究利用广泛的本体使用和基于对照学习框架，通过医学疾病本体的生物医学文档，展示了提高嵌入式 LLM 在描述疾病领域中的相似性评估能力的实验结果。

    May, 2024

  • 语言笔者大：LLMs、ChatGPT、接地、意义与理解

    ChatGPT 是如何运作并具备超过预期能力的？本文通过与 ChatGPT-4 对话的方式，对 ChatGPT 作出解释，包括与语言自身相关的良性偏见、语言的间接语义基础以及神经网络中的类别学习等。

    Feb, 2024

  • LLMs4OL：用于本体学习的大型语言模型

    我们提出了 LLMs4OL 方法，利用大型语言模型（LLMs）进行本体学习（OL）。通过全面评估使用零训练样例提示方法，我们发现 LLMs 可以有效地应用其语言模式捕捉能力于 OL，该能力包括从自然语言文本中自动提取和结构化知识。评估涵盖了对三个主要的 OL 任务进行九种不同的 LLM 模型家族的评估，包括术语类型化，分类系统发现以及非分类关系的提取，并包含了 WordNet 中的词汇语义知识，GeoNames 中的地理知识以及 UMLS 中的医学知识等多种类型的本体知识。

    Jul, 2023

  • 运用大型语言模型通过人工智能生成科学本体朝下一代城市决策支持系统 -- 优化联运货运案例

    利用预训练的大型语言模型（LLMs）和 ChatGPT API 作为推理核心，通过自然语言处理、基于方法论的提示调整和 Transformer 技术，自动化创作基于场景的本体论文、都市数据集和模拟技术手册，生成知识图谱，以促进都市决策支持系统的发展。

    May, 2024

  • 探索大型语言模型进行本体对齐

    研究调查了最近的生成式大型语言模型（如 GPT 系列和 Flan-T5）在本体对齐中的适用性，以识别本体之间的概念等价映射。初步发现表明，通过精心设计的框架和提示，LLMs 具有超越现有本体对齐系统（如 BERTMap）的潜力。

    Sep, 2023

  • 元语义学：迈向更好的自然语言理解和推理

    本文提出了两种解决 out-of-vocabulary 问题的策略和一个语义模型，以解决传统深度神经网络和基于规则的方法在自然语言理解上所面临的挑战。

    Apr, 2023