Jul, 2024

大型語言模型增強的知識表示學習：一項調查

PDF
TL;DR大语言模型（LLMs）与知识表示学习（KRL）的整合标志着人工智能领域的重要进展，增强了捕捉和利用复杂知识结构的能力，这种协同作用利用了 LLMs 的高级语言和语境理解能力，提高了 KRL 的准确性、适应性和有效性，从而扩大了其应用和潜力。尽管越来越多的研究关注将 LLMs 嵌入知识表示领域，但对这些增强模型的基本组件和过程的全面回顾明显缺失。我们的调查通过对这些模型进行基于三种不同 Transformer 架构的分类，并分析来自各种 KRL 下游任务的实验数据，评估每种方法的优点和缺点。最后，我们确定并探索这个新兴但未充分开发的领域的潜在未来研究方向，提出了持续进展的路径。
large language modelsknowledge representation learningartificial intelligencetransformer architecturesexperimental data
发现论文，激发创造
  • 大规模语言模型推动图表示学习的进展：技术综述

    利用大型语言模型和图表示学的集成标志着复杂数据结构分析的重大进展，通过利用 LLM 的先进语言能力来改善图模型的上下文理解和适应性，从而拓宽了 GRL 的范围和潜力。本研究通过提出一种新颖的分类法，深入分析了 LLM 与 GRL 之间的核心组成部分和操作技术，填补了目前缺乏的综述研究。我们进一步将近期文献分解为两个主要组成部分，包括知识提取器和整理器，以及两种操作技术，包括集成和训练策略，以揭示有效的模型设计和训练策略，并探讨了这一新兴但尚未充分探索的领域的潜在未来研究方向，为持续进展提出了路径。

    Feb, 2024

  • 大型语言模型与知识图谱相互作用的研究趋势

    本研究调查了大型语言模型（LLMs）与知识图谱（KGs）之间的协同关系，旨在探讨 KG 问答、本体生成、KG 验证以及通过 LLMs 提高 KG 准确性和一致性等领域的研究空白。该论文还检验了 LLMs 在生成描述性文本和自然语言查询方面的作用，并通过分类 LLM-KG 交互、研究方法论和合作使用以及潜在偏见等结构化分析，提供了它们的结合潜力的新见解。该研究强调了它们的交互对于提升人工智能应用的重要性，并概述了未来的研究方向。

    Jun, 2024

  • 基于大型语言模型增强强化学习的调研：概念，分类和方法

    大规模语言模型在增强学习中具有广泛的预训练知识和高水平的通用能力，本文对现有文献进行了综述，概括了大规模语言模型增强学习与传统增强学习方法的特点，并提出了一个结构化的分类法来系统地分类大规模语言模型在增强学习中的功能和方法，并讨论了其潜在应用、前景机会和挑战。

    Mar, 2024

  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023

  • 大型知识模型：视角与挑战

    人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

    Dec, 2023

  • 大型语言模型与知识图谱：机遇与挑战

    大型语言模型在知识表示领域和全球范围内席卷而来，这标志着从显式知识表示转向对显式知识和参数化知识的混合表示的全新关注点。本位置论文将讨论在 LLMs（参数化知识）和知识图谱（显式知识）社区内的一些常见争议点，并推测这种新关注点带来的机遇和愿景，以及相关的研究主题和挑战。

    Aug, 2023

  • 知识融合与大型语言模型的趋势：方法、基准和应用的调查和分类

    通过综述知识融入大型语言模型的趋势、方法分类、基准和应用，本文概述了该研究领域的全貌，并指出了未来的研究方向。

    Nov, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 统一大型语言模型和知识图谱：路线图

    本文提出了使用知识图谱和大型语言模型的三种框架，分别为增强了的知识图谱、增强了的大型语言模型和协同增强。这三个框架能够互相协作，实现双向推理，提高自然语言处理和人工智能的表现，同时指出未来的研究方向。

    Jun, 2023

  • 推荐系统中的大型语言模型调查

    本文概论了基于大型语言模型的推荐系统，提出了两种主要类型（分别为判别型 LLM 推荐 DLLM4Rec 和生成型 LLM 推荐 GLLM4Rec），分别从方法、技术和性能等方面对现有的 LLM 推荐系统进行了系统的分类和评估，并指出了主要挑战和有价值的发现。

    May, 2023