利用大型语言模型进行 NLP 教育中的概念图恢复和问题回答
本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用,以可持续发展文本为案例进行了多个实验,结果表明,使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性,并探索了使用基础 LLM 模型自动创建本体论的潜力,取得更相关和准确的知识图谱。
May, 2023
评估大语言模型在教育中的功效,特别是在口语学习领域,引入新的多选题数据集评估模型在理解和应用口语知识方面的表现,研究不同提示技术对模型性能的影响,发现模型在音韵学、语音学和第二语言习得方面具有良好的概念理解,但在解决现实世界问题的推理方面存在限制,并初步探讨了对话交流的发现。
Aug, 2023
我们通过复杂问题回答作为任务,对比了不同的知识图谱注入方法,旨在探索最佳提供知识图谱给大型语言模型的提示方法,从而增强其对知识图谱的理解能力。与预期相反,我们的分析发现,大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识,并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。
Feb, 2024
本文提出了一种名为 KnowledgeNavigator 的新型框架,通过从知识图中高效准确地检索外部知识并将其作为增强 LLM 推理的关键因素,以解决 LLM 在需要长逻辑链或复杂推理的场景中所存在的幻觉和知识限制的问题。通过对给定问题的潜在约束进行挖掘和增强,KnowledgeNavigator 指导推理过程;然后,在 LLM 和问题的指导下,通过对知识图上的迭代推理来检索和过滤支持回答的外部知识;最后,KnowledgeNavigator 将结构化知识构建为对 LLM 有利的有效提示,以帮助其推理。实验证明该框架在多个公开的知识图问答基准测试上具有很高的效果和泛化能力,优于之前的知识图增强 LLM 方法,并且与完全监督模型相媲美。
Dec, 2023
使用来自知识图谱的规划数据,我们介绍了一种增强大型语言模型在复杂问答任务中的性能的新框架,通过使用这些数据对 LLMs 进行微调,提高其规划能力,更好地处理涉及检索的复杂 QA 任务。我们的框架在多个数据集上进行评估,包括我们提出的新基准,突出了其有效性和知识图谱派生规划数据的好处。
Jun, 2024
大型语言模型 (LLMs) 能够解决与知识图谱相关的任务,如知识图谱补全,尤其在零次或少次训练的范式下。然而,它们被称为会产生错误的答案,或以不确定的方式输出结果,从而导致错误推理的回答,即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战,我们在静态知识图谱的知识图谱补全任务中,使用 TELeR 分类法构建的提示,在零次和一次迭代的上下文中,通过两个显著的 LLMs 进行实验,即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125,在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时,我们的结果表明,如果提示包含足够的信息和相关示例,LLMs 可能适用于这样的任务。
May, 2024
本文提出了一种名为知识解决器(KSL)的范例,通过利用大型语言模型(LLMs)的强大概括能力,教给它们从外部知识库中搜索必要知识,并将检索过程转化为多跳决策序列,增强了 LLMs 的搜索能力,提高了推理过程的可解释性。在三个数据集上的实验证实,我们的方法相对基准模型的表现有很大的提升。
Sep, 2023
我们提出了一种在对话中理解问题并从不同来源(如文本、知识图谱、表格和信息框)中进行推理的说话式问答任务,我们的方法利用了图结构化表示,通过最小化交叉熵直接将图嵌入到大型语言模型中,同时利用了大型语言模型的推理和文本生成能力。我们的模型通过维护一个存储模块来追踪和更新过去的证据,从而影响图的结构,并在 ConvMix 基准测试中取得了实验结果,证明了图嵌入增强了大型语言模型的推理能力,而存储模块则提供了对噪声和检索错误的鲁棒性。
Jun, 2024
通过结合大型语言模型(LLMs)和知识图谱(KGs),本研究论文提出了一种自动构建知识图谱的方法,并讨论了在数字教育环境中,LLMs 与 KGs 结合在问答任务中的初步应用。
Apr, 2024
通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾,我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点,并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后,我们提出了这一快速发展领域的潜在未来研究方向。
Dec, 2023