以 Prompted LLMs 作为聊天机器人模块进行长时间开放域对话

ACLMay, 2023

以 Prompted LLMs 作为聊天机器人模块进行长时间开放域对话

Prompted LLMs as Chatbot Modules for Long Open-domain Conversation

Gibbeum Lee, Volker Hartmann, Jongho Park, Dimitris Papailiopoulos, Kangwook Lee

TL;DR本文提出了一种新的方法 MPC（模块化提示聊天机器人），该方法利用预训练的大型语言模型作为独立模块，通过使用 few-shot prompting、chain-of-thought 和外部记忆等技术，实现长期的一致性和灵活性。我们的人类评估结果表明，MPC 在开放域对话中与精调聊天机器人模型相当，是创建一致和引人入胜聊天机器人的有效解决方案。

Abstract

In this paper, we propose MPC (modular prompted chatbot), a new approach for creating high-quality conversational agents without the need for fine-tuning. Our method utilizes pre-trained large language models (LLMs) as individual modules for long-term consistency and flexibility, by us

modular prompted chatbot pre-trained language models few-shot prompting chain-of-thought external memory

发现论文，激发创造

基于大型语言模型的零射击提示在开放域人机对话中的角色扮演

采用角色扮演零样本提示作为一种高效且经济有效的方法，本研究使用能遵守指令的多语言 LLM（Beeching 等，2023 年）进行开放领域对话，并设计了一个提示系统，与 Vicuna（Chiang 等，2023 年）模型相结合，产生与精调模型在两个不同任务的人类评估中相匹配甚至超越的对话代理。

Jun, 2024

自我确信的激励机制：反复审视下的少样本问答

利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

Oct, 2023

多方目标跟踪与 LLMs：预训练、微调和提示工程比较

通过对大规模语言模型在任务导向的多方对话中捕捉能力的评估，本研究记录并转录了医院中患者、他们的陪伴者和社交机器人之间的 29 个多方对话，并对此语料库进行了多方目标跟踪和意图 - 插槽识别的注释。我们在零样本和少样本设置中比较了三种方法，即微调 T5，使用 LED 创建预训练任务以训练 DialogLM，并采用 GPT-3.5-turbo 的提示工程技术，以确定哪种方法可以用有限数据完成这一新任务。在少样本设置中，GPT-3.5-turbo 显著优于其他方法。当给出例子注释对话中 7% 的语料库时，“推理” 风格的提示是效果最好的方法。它正确注释了 62.32% 的目标跟踪多方对话和 69.57% 的意图 - 插槽识别多方对话。而 “故事” 风格的提示会增加模型的虚构成分，在安全关键环境中可能会有不利影响。我们得出结论，多方对话仍然对最先进的大规模语言模型构成挑战。

Aug, 2023

运用大型语言模型强化聊天机器人以搜集用户自报数据

本研究旨在探讨如何设计自然语言提示以使聊天机器人能够自然地进行对话，从而可靠地收集用户自报数据。通过在线研究（N = 48），我们通过不同的自然语言提示设计和对话主题对聊天机器人进行了评估，并发现提示设计和主题显着影响了对话流程和数据收集表现。

Jan, 2023

ChatGPT 是否是一个良好的多方对话解决器？

利用 ChatGPT 和 GPT-4 等生成型大型语言模型对多方对话进行评估与分析，揭示了利用生成型大型语言模型处理多方对话所面临的挑战以及可行的解决方案。

Oct, 2023

通过提示逼近人类对社交聊天机器人的评估

提出了一种利用 GPT 模型进行对话系统评估的新框架，通过对模型进行特定条件训练来生成评估指标，采用少量的演示和指导进行提示，可以在自动化评估过程中取得与人类评价高度相关的结果。

Apr, 2023

针对积极对话的大型语言模型的提示和评估：澄清、目标导向和非协作

本篇论文中，我们提出了一种称之为 Proactive Chain-of-Thought 推导方案，它能够增强 LLMs 的目标规划能力，以解决其在主动对话方面的不足，具体涉及三个方面：澄清、目标引导和非协作对话。我们还探讨了相应的实证结果，以促进未来在基于 LLM 的主动对话系统方面的研究。

May, 2023

闲聊还是深层讨论：为过程挖掘设计提示工程

该研究主要探讨了大型语言模型在过程挖掘中的应用，以增强对话代理的能力，并改进了现有解决方案的许多问题，提高了可访问性和代理性能。通过实验验证了该框架在公共问题和数据集上的效果，为进一步探索大型语言模型在过程挖掘中的作用奠定了基础，并提出了改进大型语言模型记忆、实时用户测试和研究多样化数据集的建议。

Jul, 2023

聊天机器人不是您所需的全部：信息丰富的提示以获得更真实的回应

借助五感、属性、情感状态、与交互者的关系和记忆，我们提出了一种新的方法来从大型语言模型中生成更加真实、一致的回答，旨在增强大型语言模型在会话交流中生成自然、真实反应的能力。通过我们的研究，我们希望为模仿小说人物的大型语言模型的改进能力做出贡献。我们在我们的 GitHub 上发布了一个新的基准数据集以及所有的代码、提示和样例结果。

Dec, 2023

对话模型的节约提示

研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

May, 2023