Mar, 2024

自然语言推理和概念嵌入式本体补完分析

PDF
TL;DR本文介绍了一个用于评估本体完成方法的基准，并对两种方法的优势和弱点进行了深入分析。我们发现这两种方法确实相辅相成，混合策略取得了最佳的整体效果。我们还发现，即使经过微调，本任务对大型语言模型来说仍然具有很高的挑战性。
ontology completiontaxonomy expansionnatural language inferenceconcept embeddingshybrid strategies
发现论文，激发创造
  • 面向本体增强的大型语言模型表示学习

    通过注入本体知识来改进嵌入式大语言模型（embedding-LLM），本研究利用广泛的本体使用和基于对照学习框架，通过医学疾病本体的生物医学文档，展示了提高嵌入式 LLM 在描述疾病领域中的相似性评估能力的实验结果。

    May, 2024

  • 松耦合知识图谱嵌入和基于本体推理的方法

    通过将知识图谱嵌入的数据驱动能力与领域专家或包含 OWL2 的蕴涵方案等领域特定推理松散地耦合，我们不仅能够提高预测精度，而且还允许用户插入自己的知识图谱嵌入和推理方法。我们的初步结果表明，我们的方法将基准知识图嵌入的平均倒数排名（MRR）精度提高了最高 3 倍，并且超过了将知识图嵌入与规则挖掘和推理相结合的混合解决方案高达 3.5 倍 MRR。

    Feb, 2022

  • 基于语言模型的本体中新概念定位框架

    使用语言模型将从文本中提取的新概念插入本体的任务中，我们探索了一种三步骤的方法：边缘搜索，边缘形成和丰富，边缘选择。在所有步骤中，我们提出利用神经方法，其中我们应用基于嵌入的方法和 BERT 等预训练语言模型的对比学习进行边缘搜索，并采用基于 BERT 微调的多标签边缘交叉编码器以及 GPT 系列、FLAN-T5 和 Llama 2 等大型语言模型进行边缘选择。我们评估了使用 SNOMED CT 本体和 MedMentions 实体链接基准创建的最新数据集上的方法。我们框架中的最佳设置使用了经过微调的预训练语言模型进行搜索，以及用于选择的多标签边缘交叉编码器。LLMs 的零 - shot 提示对于该任务仍然不足，因此我们提出了 LLMs 可解释指令调整以改进性能。我们的研究展示了预训练语言模型的优势，并突出了鼓舞人心的 LLMs 性能，这激发了未来的研究。

    Feb, 2024

  • 本体蕴含推理的语言模型分析

    研究表明，虽然预训练语言模型对于自然语言推理方面的知识有比较好的编码能力，但其对于本体论的推断需要更多的背景知识，而且在给定少量样本的情况下能够有效地进行推断。

    Feb, 2023

  • 本体嵌入：方法、应用和资源综述

    本文系统回顾了本体嵌入领域的 80 多篇论文，介绍了本体的不同语义以及数学和机器学习的视角下的本体嵌入的定义和特性，并对几种技术解决方案进行了分类和分析，包括几何建模、序列建模和图传播等。此外，还介绍了本体嵌入在本体工程、机器学习增强和生命科学中的应用，并讨论了挑战和未来方向。

    Jun, 2024

  • 利用领域外知识提升科学问题领域自然语言推断

    本文提出了一种运用知识图谱的结合方法来提高自然语言推理问题（NLI）领域中性能的技术，该技术在文本、图形和文本到图形的模型上均取得了最新的最优表现，并讨论了外部知识在解决 NLI 问题中的实际意义。

    Sep, 2018

  • Text2KGBench：基于本体驱动的文本知识图谱生成基准

    该研究论文介绍了 Text2KGBench 这个基准评估工具，可以评估语言模型的能力，从自然语言文本中生成知识图谱，并根据本体论从文本中提取事实。研究还提供了基准模型的结果和显示了使用语义网和自然语言处理技术，可以进一步提高模型性能的潜力。

    Aug, 2023

  • 知识图谱补全的联合语义和结构嵌入

    本文提出了一种采用预训练语言模型的方法，将知识三元组的语义信息与其结构信息一起嵌入到自然语言描述中，以提高知识图谱补全任务的性能，特别是在低资源环境下表现更佳。

    Sep, 2022

  • 通过融合关系表示增强概念生成以完成分类法

    GenTaxo 通过识别需要新概念的现有分类系统中的位置，然后生成适当的概念名称，从而提高了分类完整性。

    Jun, 2021

  • 神经机器翻译中语义现象的自然语言推理评估

    本文提出一个过程，用于研究神经机器翻译 (NMT) 系统生成的句子表示如何编码不同的语义现象，最终发现编码器最适合在语法 - 语义界面上支持推理，而不是需要世界知识的指代消解。

    Apr, 2018