Dec, 2023

基于大型语言模型的零射击和少射击知识图谱三元组提取

PDF
TL;DR在本研究中，我们测试了不同规模的大型语言模型在零次和少次侦查设置下的三元组提取（Triplet Extraction）能力。我们提出了一种通过从知识库（Knowledge Base）动态收集上下文信息（以上下文三元组和（句子，三元组）对的形式呈现为示例），并通过提示将其提供给语言模型的管道。附加的上下文信息使得大型语言模型在基于双向长短期记忆（BiLSTM）网络架构的所有旧的完全训练基线上具有竞争力。我们进一步对收集到的知识库上下文质量进行了详细分析，发现它与模型的最终三元组提取性能密切相关。相比之下，模型的规模似乎只会对大型语言模型的三元组提取能力带来对数级的改进。
triplet extractionlarge language modelsknowledge basecontextual informationte performance
发现论文，激发创造
  • 利用大型语言模型从知识图谱进行零样本自然语言生成

    本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成，虽然表现接近最先进水平，但不同情况下有不同结果，并发现语言模型已有的知识与输出文本的质量有显著关联。

    Jul, 2023

  • 探索用于知识图谱完成的大型语言模型

    在本研究中，我们探索了利用大型语言模型（LLM）来完成知识图的关键问题。通过将知识图中的三元组视为文本序列，并引入名为 Knowledge Graph LLM（KG-LLM）的创新框架来对这些三元组进行建模。我们的技术利用三元组的实体和关系描述作为提示，并利用生成的响应进行预测。在各种基准知识图上的实验证明，我们的方法在三元组分类和关系预测等任务中达到了最先进的性能水平。我们还发现，微调相对较小的模型（例如 LLaMA-7B，ChatGLM-6B）优于最新的 ChatGPT 和 GPT-4。

    Aug, 2023

  • 评估 LLMs 用于知识图谱补全的适用性

    大型语言模型 (LLMs) 能够解决与知识图谱相关的任务，如知识图谱补全，尤其在零次或少次训练的范式下。然而，它们被称为会产生错误的答案，或以不确定的方式输出结果，从而导致错误推理的回答，即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战，我们在静态知识图谱的知识图谱补全任务中，使用 TELeR 分类法构建的提示，在零次和一次迭代的上下文中，通过两个显著的 LLMs 进行实验，即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125，在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时，我们的结果表明，如果提示包含足够的信息和相关示例，LLMs 可能适用于这样的任务。

    May, 2024

  • 优化大型语言模型的召回率：基于模型协作的关系三元组抽取方法

    本论文设计了一种评估过滤框架，将大型语言模型与小型模型整合在一起，用于处理关系三元组提取任务，以获得更准确的提取结果。评估模型能够高精度提取相关实体对，并通过简单的标注原则和深度神经网络对模型进行嵌入，将输出作为提示加入到大型模型的提取过程中。通过大量实验证明，该方法可以帮助大型语言模型从含有多个关系三元组的复杂句子中获得更准确的提取结果，同时也能够嵌入传统提取模型以提高其从复杂句子中的提取准确率。

    Apr, 2024

  • 利用大量多语种知识三元组增强多语言模型

    本文提出了使用多语言知识图谱三元组进行直接训练的基于知识的多语言语言模型。通过生成大量的多语言合成句子并设计预训练任务，实现了 KMLMs 对事实知识和逻辑模式的学习，并在跨语言任务中展示了显著的性能提升，包括命名实体识别（NER）、事实知识检索、关系分类和新设计的逻辑推理任务。

    Nov, 2021

  • 基于知识的文本生成中的对话型大型语言模型的比较分析

    通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析，我们发现对于从语义三元组生成自然语言文本，少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力，尤其对于表现出低零样本性能的较小模型。

    Feb, 2024

  • 基于大型语言模型的时间知识图谱的零样本关系学习

    通过将知识图谱关系的文本描述输入到大型语言模型中，我们提出了一种新的方法以解决传统知识图谱预测中的无先验图谱上下文的零样本关系建模问题，并通过引入大型语言模型增强的关系表示，使传统模型能够识别没有观察到的关系，在预测未知关系方面取得更好的性能。

    Nov, 2023

  • 将大型语言模型中的领域特定内容与知识图谱融合，以增强零样本目标状态分类

    本研究探讨了大型语言模型（LLM）在通过语义嵌入生成和提供领域特定信息方面的潜力，并在基于视觉的零样本目标状态分类任务中将 LLM 整合到一种流程中。研究结果表明，使用 LLM 嵌入与通用预训练嵌入相结合，可以显著提高性能，并通过与竞争模型的比较分析展示了所提出方法所达到的最新性能。

    Mar, 2024

  • 基于语言模型检索的多语言少样本学习

    本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。

    Jun, 2023

  • KS-LLM: 大型语言模型问题回答的证据文档知识选择

    利用证据文档作为额外支持材料的知识选择方法可有效解决大型语言模型面临的幻觉问题和知识密集任务，提升大型语言模型的性能。该方法使用三元组从证据文档中选择有益于回答问题的知识片段，并与大型语言模型结合产生答案，实验证明其优于基线方法并取得最佳结果。

    Apr, 2024