寻求知识的语言模型:对话和提示补全的模块化搜索与生成
本文提出了一个模块化的知识转换模型(K2R)来将知识纳入对话体系,通过将这一问题分解为两个简单的步骤来解决对该问题的挑战。在详细实验中,我们发现这种模型在与知识相关的对话任务中幻觉较少,并且具有解释性和模块化方面的优势。
Nov, 2021
本文提出了一种名为知识解决器(KSL)的范例,通过利用大型语言模型(LLMs)的强大概括能力,教给它们从外部知识库中搜索必要知识,并将检索过程转化为多跳决策序列,增强了 LLMs 的搜索能力,提高了推理过程的可解释性。在三个数据集上的实验证实,我们的方法相对基准模型的表现有很大的提升。
Sep, 2023
大型语言模型 (LLMs) 能够解决与知识图谱相关的任务,如知识图谱补全,尤其在零次或少次训练的范式下。然而,它们被称为会产生错误的答案,或以不确定的方式输出结果,从而导致错误推理的回答,即使它们满足用户的需求。为了强调知识图谱相关任务中的机遇和挑战,我们在静态知识图谱的知识图谱补全任务中,使用 TELeR 分类法构建的提示,在零次和一次迭代的上下文中,通过两个显著的 LLMs 进行实验,即 Mixtral-8x7B-Instruct-v0.1 和 gpt-3.5-turbo-0125,在以任务为导向的对话系统使用案例中。当使用严格和灵活的度量标准进行评估时,我们的结果表明,如果提示包含足够的信息和相关示例,LLMs 可能适用于这样的任务。
May, 2024
该论文研究了在信息寻求对话中使用大规模语言模型(LLMs)如 ChatGPT 进行基于文件的响应生成。通过人工评估我们发现,ChatGPT 变种虽然有可能插入不在相关片段中的信息,可能存在错觉,但评分比共享任务获胜系统和人工响应更高。
Sep, 2023
我们使用预训练的语言模型来研究基于知识的对话生成,通过知识选择模块和无监督方法来优化知识选择和响应生成,实验结果表明,我们的模型在自动评估和人类判断方面都显著优于现有方法。
Oct, 2020
本研究提出了一种 LLm-Augmenter 系统,它通过使用存储在特定任务数据库中的外部知识和迭代地根据效用函数生成的反馈来改善 LLM 的提示,从而使其生成基于外部知识的响应,实现了应用到任务导向对话和问题回答的实际场景中,显著减少 ChatGPT 模型的幻觉。
Feb, 2023
通过比较基于 LLMs 生成的回应与非基于 LLMs 生成的回应的系统,研究了生成回应对主观评价(如情绪变化、认知变化和对话质量)的影响。结果表明,使用 GPT-4 时,情绪变化、共情和其他对话品质显著改善,说明 GPT-4 具有较高的心理咨询能力。然而,研究还指出,即使使用了人类心理咨询数据集训练的对话模型,与基于情景的对话相比,并不能产生更好的结果。在使用了规则、情景或示例回应的系统中,可以通过人工专业人士提前使用 LLMs 生成示例回应或回应模板的方式呈现基于 LLMs 生成的回应,并且直接与用户在现实的心理健康服务中进行交互,这可能引发一些伦理问题。
Jan, 2024
TREC iKAT 2023 挑战中,本文使用 Generate-Retrieve-Generate 方法,利用大型语言模型(LLMs)进行答案生成与理解,通过 BM25 进行答案连贯性过滤,实现更高的性能表现。
Nov, 2023
通过使用查询产生器从动态信息检索引擎检索知识,为聊天机器人生成响应的对话模型中,基于廉价噪声监督的训练算法用于产生查询,调整查询生成器而无需人为标注黄金查询,取得了不错的检索效果,大大提高了聊天机器人响应的质量。
Feb, 2023