CooK：用模块化与协同知识赋能通用语言模型

May, 2023

CooK：用模块化与协同知识赋能通用语言模型

CooK: Empowering General-Purpose Language Models with Modular and Collaborative Knowledge

Shangbin Feng, Weijia Shi, Yuyang Bai, Vidhisha Balachandran, Tianxing He...

TL;DR提出了一种名为 CooK 的新型框架，通过提供模块化的知识和协同来源的知识，为通用大型语言模型增强知识能力，并通过动态选择、筛选、整合不同领域的参数知识仓库促进多领域知识综合和按需更新，从而获得了在六个基准数据集上的最先进性能。

Abstract

large language models (LLMs) are increasingly adopted for knowledge-intensive tasks and contexts. Existing approaches improve the knowledge capabilities of general-purpose LLMs through retrieval or generated knowledge prompting, but they fall short of reflecting two key properties of k

large language models modular knowledge collaborative sourcing knowledge filters knowledge integration

发现论文，激发创造

知识链：利用结构化知识库为大型语言模型提供支撑的框架

Chain of Knowledge 使用结构化知识库扩大大型语言模型，并提出了查询生成模型以及对比指导调整模型参数，验证了该框架可以显著提高大型语言模型对于知识密集型任务的准确性。

May, 2023

知识插件：为领域特定推荐增强大型语言模型

本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

Nov, 2023

大型知识模型：视角与挑战

人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

Dec, 2023

KoLA：大型语言模型世界知识的精细基准测试

我们构建了一种基于知识导向的大型语言模型评估基准，并通过使用维基百科和不断收集出现的语料库来确保数据的公正比较，评估 21 个开源和商业大型语言模型的能力和知识相关度。

Jun, 2023

在线连续知识学习的语言模型

在这篇论文中，我们介绍了一个新的问题，在持续学习领域中称为 “在线持续知识学习（OCKL）”。我们提出了一个新的基准和评估指标，旨在测量新知识获取的速度和先前学到的知识的保留率。通过使用各种最先进的方法进行的实证评估为 OCKL 建立了稳健的基准。我们的结果显示，现有的持续学习方法对于应对 OCKL 提出的独特挑战不足够。我们确定了影响知识获取和保留之间权衡的关键因素，从而推进了我们对如何在不断演化的环境中训练 LLMs 的理解。

Nov, 2023

语言模型的持续知识学习

本文提出了一种新的连续学习问题 —— 连续知识学习，并构建了一个新的数据集和指标，用于衡量时间不变世界知识的保留，过时知识的更新和新知识的获取。通过实验发现，该问题的关键在于对抗知识遗忘和参数扩展，因此对于更好地维护不断变化的大型语言模型非常重要。

Oct, 2021

基于知识增强的大型语言模型个性化上下文查询建议

通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

Nov, 2023

有监督的知识提升大语言模型在上下文学习中的表现

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

CoLAKE: 上下文化语言与知识嵌入

本文提出的 CoLAKE 是一种基于预训练语言模型的的语言和知识情境化嵌入方法，可以提取一个实体的知识上下文并将其整合到一个统一的数据结构中，在知识驱动的任务、知识探测任务和语言理解任务中表现出优良性能。

Oct, 2020

知识链：通过从知识图谱中学习将知识推理整合到大规模语言模型中

通过构建自然语言处理任务中的大型语言模型，研究了知识推理的细节和方法，并提出了一个全面的知识推理框架 Chain-of-Knowledge（CoK），通过基于知识图的规则挖掘生成数据集，并结合人类知识探索过程的试错机制来提高模型学习的效果。实验证明，CoK 不仅在知识推理上，还在一般推理基准中具有优异的效果。

Jun, 2024