Feb, 2024

基于语言模型的本体中新概念定位框架

PDF
TL;DR使用语言模型将从文本中提取的新概念插入本体的任务中，我们探索了一种三步骤的方法：边缘搜索，边缘形成和丰富，边缘选择。在所有步骤中，我们提出利用神经方法，其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索，并采用基于 BERT 微调的多标签边缘交叉编码器以及 GPT 系列、FLAN-T5 和 Llama 2 等大型语言模型进行边缘选择。我们评估了使用 SNOMED CT 本体和 MedMentions 实体链接基准创建的最新数据集上的方法。我们框架中的最佳设置使用了经过微调的预训练语言模型进行搜索，以及用于选择的多标签边缘交叉编码器。LLMs 的零 - shot 提示对于该任务仍然不足，因此我们提出了 LLMs 可解释指令调整以改进性能。我们的研究展示了预训练语言模型的优势，并突出了鼓舞人心的 LLMs 性能，这激发了未来的研究。
ontologylanguage modelsembedding-based methodsfine-tuningneural methods
发现论文，激发创造
  • 面向本体增强的大型语言模型表示学习

    通过注入本体知识来改进嵌入式大语言模型（embedding-LLM），本研究利用广泛的本体使用和基于对照学习框架，通过医学疾病本体的生物医学文档，展示了提高嵌入式 LLM 在描述疾病领域中的相似性评估能力的实验结果。

    May, 2024

  • 探索大型语言模型进行本体对齐

    研究调查了最近的生成式大型语言模型（如 GPT 系列和 Flan-T5）在本体对齐中的适用性，以识别本体之间的概念等价映射。初步发现表明，通过精心设计的框架和提示，LLMs 具有超越现有本体对齐系统（如 BERTMap）的潜力。

    Sep, 2023

  • 本体蕴含推理的语言模型分析

    研究表明，虽然预训练语言模型对于自然语言推理方面的知识有比较好的编码能力，但其对于本体论的推断需要更多的背景知识，而且在给定少量样本的情况下能够有效地进行推断。

    Feb, 2023

  • 面向可计算验证的语言模型语义基础研究

    本文提出了一种语义基础的语言模型方法，将语言模型嵌入到自编码器中，在保持语义解析器冻结的同时通过采样和训练提高了自动生成的文本的流畅度和语义准确性，使用 BLEU 分数和标准解析度量在 English WebNLG 3.0 数据集上进行实验，并通过人工评估验证了自动评估实验的结果。

    Nov, 2022

  • 利用大型语言模型进行本体工程

    通过自动将自然语言句子转化为描述逻辑，我们使用大型语言模型将自然语言句子转换为 OWL 功能语法，用于丰富本体论，并通过人类监督的方式提供该工具作为 Protge 插件。

    Jul, 2023

  • 利用大型语言模型进行基于 OntoClean 的本体修正

    本研究探讨了将大型语言模型（LLMs）如 GPT-3.5 和 GPT-4 整合到本体修正过程中，特别关注 OntoClean 方法论。研究通过采用两种提示策略的 LLMs，证明了在标注过程中可以获得高准确性，并提出了开发插件软件以促进本体工具整合的潜力。

    Mar, 2024

  • 自然语言推理和概念嵌入式本体补完分析

    本文介绍了一个用于评估本体完成方法的基准，并对两种方法的优势和弱点进行了深入分析。我们发现这两种方法确实相辅相成，混合策略取得了最佳的整体效果。我们还发现，即使经过微调，本任务对大型语言模型来说仍然具有很高的挑战性。

    Mar, 2024

  • 面向语言模型的本体构建

    通过查询大型语言模型，我们提出了一种用于自动构建给定领域概念层级的方法，我们使用 OpenAI 的 GPT 3.5 将该方法应用于不同领域，实验证明 LLM 在构建概念层级方面具有相当的帮助。

    Sep, 2023

  • 语言模型是通用嵌入器

    大语言模型（LLM）革命中，嵌入是各种系统的关键组成部分。在本文中，我们迈出了迈向构建强大统一的嵌入模型的第一步，证明了多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估，结果表明这是一条有希望的道路，可以应用于不同任务和语言。

    Oct, 2023

  • 大型语言模型是否能补充医学本体中缺失的概念和关系？

    使用大型语言模型扩展本体的方法在临床实践指南中探索新的医学概念关系，展示了潜在的初步实验结果和未来改进方向。

    Nov, 2023