Aug, 2023

多方目标跟踪与 LLMs：预训练、微调和提示工程比较

PDF
TL;DR通过对大规模语言模型在任务导向的多方对话中捕捉能力的评估，本研究记录并转录了医院中患者、他们的陪伴者和社交机器人之间的 29 个多方对话，并对此语料库进行了多方目标跟踪和意图 - 插槽识别的注释。我们在零样本和少样本设置中比较了三种方法，即微调 T5，使用 LED 创建预训练任务以训练 DialogLM，并采用 GPT-3.5-turbo 的提示工程技术，以确定哪种方法可以用有限数据完成这一新任务。在少样本设置中，GPT-3.5-turbo 显著优于其他方法。当给出例子注释对话中 7% 的语料库时，“推理” 风格的提示是效果最好的方法。它正确注释了 62.32% 的目标跟踪多方对话和 69.57% 的意图 - 插槽识别多方对话。而 “故事” 风格的提示会增加模型的虚构成分，在安全关键环境中可能会有不利影响。我们得出结论，多方对话仍然对最先进的大规模语言模型构成挑战。
large language modelstask-oriented multi-party conversationsmulti-party goal-trackingintent-slot recognitiongpt-3.5-turbo
发现论文，激发创造
  • ChatGPT 是否是一个良好的多方对话解决器？

    利用 ChatGPT 和 GPT-4 等生成型大型语言模型对多方对话进行评估与分析，揭示了利用生成型大型语言模型处理多方对话所面临的挑战以及可行的解决方案。

    Oct, 2023

  • 以 Prompted LLMs 作为聊天机器人模块进行长时间开放域对话

    本文提出了一种新的方法 MPC（模块化提示聊天机器人），该方法利用预训练的大型语言模型作为独立模块，通过使用 few-shot prompting、chain-of-thought 和外部记忆等技术，实现长期的一致性和灵活性。我们的人类评估结果表明，MPC 在开放域对话中与精调聊天机器人模型相当，是创建一致和引人入胜聊天机器人的有效解决方案。

    May, 2023

  • MPC-BERT: 用于多方会话理解的预训练语言模型

    MPC-BERT 是一种预训练的神经模型，通过学习谁对谁说什么，结合几个自监督任务，在多方对话任务中表现出比以前的方法更好的性能。

    Jun, 2021

  • 生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

    通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

    Dec, 2023

  • 通过 RL 对想象中的对话进行零样本目标导向对话

    通过使用强化学习进行交互式对话的目标导向任务，本研究提出利用大型语言模型生成可能的交互示例，再通过强化学习算法优化这些示例，以实现更优化的交互能力，从而在教学和偏好引导等不同目标导向对话任务中实现了最新的性能。

    Nov, 2023

  • 通过提示提高大型语言模型的心理理论表现

    本研究探讨在理解人的常识推理问题中，如何通过上下文学习和人类反馈和增强学习的方法来提高 LLMs（大型语言模型）的表现，结果表明适当的提示可以增强 LLMs ToM（心理理论）推理能力，这也强调了 LLMs 认知能力的依赖于上下文。

    Apr, 2023

  • 利用大语言模型将自然语言转换为计划目标

    本研究探讨了大型语言模型是否能够将自然语言的目标翻译成结构化的计划语言。我们使用 GPT 3.5 变种进行了实验，结果表明大型语言模型更适合进行翻译而不是规划，虽然这些模型能够利用常识知识和推理填补自然语言目标中缺失的细节，但在涉及到数字或物理推理的任务中，它们可能会出现失败，并且对所使用的提示信息很敏感。

    Feb, 2023

  • 基于大型语言模型的零射击提示在开放域人机对话中的角色扮演

    采用角色扮演零样本提示作为一种高效且经济有效的方法，本研究使用能遵守指令的多语言 LLM（Beeching 等，2023 年）进行开放领域对话，并设计了一个提示系统，与 Vicuna（Chiang 等，2023 年）模型相结合，产生与精调模型在两个不同任务的人类评估中相匹配甚至超越的对话代理。

    Jun, 2024

  • 针对积极对话的大型语言模型的提示和评估：澄清、目标导向和非协作

    本篇论文中，我们提出了一种称之为 Proactive Chain-of-Thought 推导方案，它能够增强 LLMs 的目标规划能力，以解决其在主动对话方面的不足，具体涉及三个方面：澄清、目标引导和非协作对话。我们还探讨了相应的实证结果，以促进未来在基于 LLM 的主动对话系统方面的研究。

    May, 2023

  • GIFT: 基于图的多方会话理解 Fine-Tuning

    通过设计四种边将图诱导信号引入注意力机制，我们提出了一种名为图诱导微调 (GIFT) 的轻量级方法，可用于多方对话的普适性理解。通过将其应用到三个预训练的语言模型中，我们发现 GIFT 可以在三项下游任务中显着提高模型性能，仅每层编码增加 4 个参数，在多方对话理解领域实现了最新的最佳性能。

    May, 2023