Oct, 2022

知识上下文：朝着具有知识的半参数语言模型

PDF
TL;DR本论文提出了一种新颖的半参数语言模型结构，Knowledge-in-Context (KiC)，通过一个知识丰富的外部存储器来增强参数化文本至文本语言模型，并且采用了一种实例自适应的知识选择器来进行训练，实验结果表明，KiC 比大规模的全参数语言模型在 40 多项不同任务上表现更出色。
发现论文，激发创造
  • 半结构化思维链：整合多源知识以提升语言模型推理能力

    该研究介绍了一种半结构化提示方法，有效地整合了大型语言模型的参数记忆、文本文档的非结构化知识和知识图谱的结构化知识，并在开放领域的多跳问题回答数据集上进行实验证明了该提示方法显著优于现有技术，甚至超过了需要微调的方法。

    Nov, 2023

  • KICGPT：具有上下文知识的大型语言模型用于知识图谱推理

    提出了一种整合了大型语言模型和三元组为基础的知识图谱完成方法，名为 KICGPT，通过使用知识提示来解决长尾问题并改进效率，而无需额外的训练和微调。

    Feb, 2024

  • CooK：用模块化与协同知识赋能通用语言模型

    提出了一种名为 CooK 的新型框架，通过提供模块化的知识和协同来源的知识，为通用大型语言模型增强知识能力，并通过动态选择、筛选、整合不同领域的参数知识仓库促进多领域知识综合和按需更新，从而获得了在六个基准数据集上的最先进性能。

    May, 2023

  • 利用参数化知识引导增强的大型语言模型

    本论文提出了 Parametric Knowledge Guiding（PKG）框架，使 LLMs 具有在运行时访问相关知识的能力，从而在适应长尾或特定领域任务方面提高性能，并同时考虑了透明度和数据隐私的问题。

    May, 2023

  • 基于上下文和知识图谱的动态表示

    本文提出了一种名为 CKG 的动态表示方法，利用外部知识图谱中的实体信息来提高语言句子的正确语义，实验表明，CKG 在多项任务中达到了最优结果。

    Dec, 2022

  • BMIKE-53：探索带上下文学习的跨语言知识编辑

    以 53 种不同的语言为基础，评估跨语言知识编辑的 BMIKE-53 基准的多语言上下文知识编辑（MIKE）方法，提供了关于可靠性、普适性、局部性和可移植性的重要见解和框架，为跨语言知识编辑的未来研究奠定了基础。

    Jun, 2024

  • 自适应半参数语言模型

    该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

    Feb, 2021

  • 基于大型语言模型的多角度知识图谱补全方法改进

    MPIKGC 是一个通用框架，利用大型语言模型从不同的角度查询以补偿环境化知识的不足，改进了基于描述的知识图补全方法，扩展了实体描述，理解关系，并提取结构，通过四种基于描述的知识图补全模型和四个数据集进行了广泛评估，适用于链接预测和三元组分类任务。

    Mar, 2024

  • LLM2KB：利用调整指导上下文感知的大型语言模型构建知识库

    使用大型语言模型构建知识库的 LLM2KB 系统有不同于基础模型的参数紧凑的注入模型，通过 LoRA 技术调整指令以便使用 Wikipedia 页面上下文实体，并在 LM-KBC 挑战中取得了 0.6185 的平均 F1 得分。

    Aug, 2023

  • 重新思考语言模型作为符号知识图谱

    基于符号的知识图谱、语言模型和评估指标对知识图谱的拓扑属性和语义属性进行了详尽的评估，发现语言模型在提取符号知识方面能力受到限制。

    Aug, 2023