Nov, 2023

知识插件：为领域特定推荐增强大型语言模型

PDF
TL;DR本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。
large language modelsdomain-specific knowledgedokedomain knowledge extractorrecommender systems
发现论文，激发创造
  • 从大型语言模型到推荐系统的知识迁移：实践工业应用

    借助大型语言模型（LLMs）预训练的能力来提升推荐系统的性能，采用 LLMs 作为物品编码器，通过 LEARN 框架将开放世界知识与协同知识相结合，以解决冷启动和长尾用户推荐中的性能问题。

    May, 2024

  • 通过知识挖掘和摘要的自我增强领域特定聊天机器人训练方法

    通过从特定领域的文本源有效提取相关知识和自适应培训聊天机器人，我们引入了一种增强大型语言模型（LLMs）的新方法。我们的模型通过训练知识矿工 LLMiner 自动从相关文档中提取问题和答案对，并将这些 QA 对与对话数据集结合来对 LLM 进行微调，从而丰富了其特定领域的专业知识和对话能力。与通常基于领域语料库直接微调的模型相比，我们的模型在新的评估基准上表现出显著的性能改进，并且只需要人为介入的最小数量的种子实例，为 LLMs 通过模型合成的训练数据实现自我改善提供了可能性。

    Nov, 2023

  • 超越一模型适用于所有场景：大型语言模型领域特化调查

    本论文提出了一个系统化的分类方法，将 LLMs 领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。

    May, 2023

  • 基于知识增强的大型语言模型个性化上下文查询建议

    通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

    Nov, 2023

  • 知识求解器：教授 LLMs 从知识图谱中搜索领域知识

    本文提出了一种名为知识解决器（KSL）的范例，通过利用大型语言模型（LLMs）的强大概括能力，教给它们从外部知识库中搜索必要知识，并将检索过程转化为多跳决策序列，增强了 LLMs 的搜索能力，提高了推理过程的可解释性。在三个数据集上的实验证实，我们的方法相对基准模型的表现有很大的提升。

    Sep, 2023

  • 利用参数化知识引导增强的大型语言模型

    本论文提出了 Parametric Knowledge Guiding（PKG）框架，使 LLMs 具有在运行时访问相关知识的能力，从而在适应长尾或特定领域任务方面提高性能，并同时考虑了透明度和数据隐私的问题。

    May, 2023

  • 当巨型自然语言处理系统不够用时！使用知识亮粉点提升领域魅力

    本文研究了如何利用特定领域的知识以协助适应自然语言处理领域中的商业实例，以保险业的问答任务为例，设计出一个基于 LLMs 的新模型，通过利用保险政策手册中的特定领域知识，可以协助理解保险新概念，初步结果表明来自政策手册的知识提高了 GPT-3.5 在可靠性方面的推论能力。

    May, 2023

  • CooK：用模块化与协同知识赋能通用语言模型

    提出了一种名为 CooK 的新型框架，通过提供模块化的知识和协同来源的知识，为通用大型语言模型增强知识能力，并通过动态选择、筛选、整合不同领域的参数知识仓库促进多领域知识综合和按需更新，从而获得了在六个基准数据集上的最先进性能。

    May, 2023

  • KITLM：面向问题回答的领域特定知识整合语言模型

    通过将相关信息融入到语言模型中，我们提出了一种新颖的知识库融合方法 KITLM，显著提高了语言模型的性能，并在问题回答方面取得了 1.5 倍的改进。我们还发布了两个精选数据集，加快了在专业领域中的知识融合研究进展。

    Aug, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022