Oct, 2023

大型语言模型作为个性化知识驱动对话的源计划器

PDF
TL;DR用大型语言模型（LLM）计划、理解和整合多个知识来源，SAFARI 框架提供了一个解决在开放领域对话系统中多个知识源之间依赖关系问题的新方法，该框架在 KBPD 数据集上的实验结果表明其能够有效地生成与人物形象一致且知识增强的回复。
open-domain dialogue systemknowledge-grounded dialogue systemsmultiple knowledge sourcessafari frameworkpersona-consistent responses
发现论文，激发创造
  • 基于知识的文本生成中的对话型大型语言模型的比较分析

    通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析，我们发现对于从语义三元组生成自然语言文本，少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力，尤其对于表现出低零样本性能的较小模型。

    Feb, 2024

  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 半结构化思维链：整合多源知识以提升语言模型推理能力

    该研究介绍了一种半结构化提示方法，有效地整合了大型语言模型的参数记忆、文本文档的非结构化知识和知识图谱的结构化知识，并在开放领域的多跳问题回答数据集上进行实验证明了该提示方法显著优于现有技术，甚至超过了需要微调的方法。

    Nov, 2023

  • 利用参数化知识引导增强的大型语言模型

    本论文提出了 Parametric Knowledge Guiding（PKG）框架，使 LLMs 具有在运行时访问相关知识的能力，从而在适应长尾或特定领域任务方面提高性能，并同时考虑了透明度和数据隐私的问题。

    May, 2023

  • 一个面向开放领域对话生成的知识即插即用测试平台

    构建基于知识的开放领域对话生成技术旨在利用挖掘的知识与人类进行闲聊。本文提出了一个高质量的多源对话知识选择和生成评估基准，名为 multi-source Wizard of Wikipedia（Ms.WoW），用于评估多源对话知识选择和生成。与现有数据集不同的是，它包含了清晰的支持知识，以话语为单位分成多个知识来源。我们进一步提出了一个新挑战，即对话知识即插即用，旨在以零 - shot 的方式测试已经训练好的对话模型在使用未见过的新知识来源时的能力。

    Mar, 2024

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 利用语言模型作为认知代理的知识来源

    利用大型语言模型作为认知系统的任务知识、认知代理和知识提取，以及通过整合提取与认知架构能力来提高知识提取效果的挑战和机会。

    Sep, 2023

  • 从大型预训练模型中引导知识，以实现无监督的知识驱动对话

    本文探究了大规模预训练在知识引导对话中的应用。通过各种方法获取大型模型的知识，利用后验重加权和嘈杂训练策略进一步挖掘其价值，并在两个基准数据上进行了实验，结果表明其优于现有的最新方法。

    Nov, 2022

  • 基于统一知识表示的知识驱动对话生成

    PLUG 是一个预训练的语言模型，可以将异构知识源同化为一个统一的知识表示，从而提高知识引导型对话生成任务的泛化能力。该模型可以通过少量的训练样本实现不同下游知识引导型对话生成任务的泛化，且在零样本和少样本场景中表现显著优异。

    Dec, 2021

  • 基于混合知识源的任务导向对话联合推理

    该研究使用 MutliWOZ-based 数据集，演示了当前方法在去除信息源严格假设时表现显著下降，并且利用预先训练的语言模型 fine-tune 了一个基于 BART 的模型，可以融合结构化和非结构化知识生成响应。

    Oct, 2022