Dec, 2023

利用对话方案的 LLM 增强多模式对话系统的一致性

PDF
TL;DR这篇论文描述了我们提交给 2023 年对话机器人竞赛的对话系统。该系统旨在帮助旅行社的用户决定参观京都市的两个观光景点的计划。通过根据对话场景控制对话流程，我们的对话系统具有灵活性和稳定性，并根据系统的话语和用户的情况引入动作和语音控制以提高用户满意度。在预赛中，我们的系统在印象评估中排名第五，在计划评估中排名第六，共有 12 支队伍。
发现论文，激发创造
  • 发展交互式旅游规划：由大型语言模型驱动的对话机器人系统

    我们旨在构建一个系统，不仅利用大型语言模型的灵活对话能力，还利用其先进的规划能力，降低人类对话者的讲话负担并高效地规划行程。我们提出了一种将旅行社的复杂任务划分为多个子任务的方法，将每个子任务作为一个独立阶段进行管理，以有效地完成任务。我们的提出的系统在 2023 年对话机器人比赛的预赛中取得了一定的成功，并报告了比赛中发现的挑战。

    Dec, 2023

  • 为共创即兴剧院设计和评估对话 LLMs

    社交机器人研究者对于多方训练的对话代理越来越感兴趣。本研究在爱丁堡节的一个月长的现场表演中使用大型语言模型（LLMs），调查了在职业剧院环境中，人类演员如何与对话代理合作创作。我们探索了即兴多方对话的技术能力和限制，并从观众和表演者的经验中提供了全面的见解。我们的 “人在环环” 的方法强调了这些 LLMs 在生成与上下文相关的回复方面的挑战，并强调了用户界面的关键作用。观众的反馈表明了对 AI 驱动的现场娱乐、人机直接互动以及对 AI 在创造力支持工具方面多样化的期望。人类演员表达了巨大的热情和不同程度的满意度，而不断演变的公众舆论则凸显了人们对于 AI 在艺术中的角色的复杂情感。

    May, 2024

  • 以细微之处增强基于 LLM 的人机交互，以提升多样性意识

    通过利用大规模语言模型的能力，本文提出了一套针对多样化感知的自主对话系统，该系统适应不同人群和个体，考虑到背景、个性、年龄、性别和文化等因素，对话过程由系统预设的知识库架构引导，并利用语言模型生成多样化感知的句子，通过提供精心设计的提示，融合了关于用户、对话历史、语境细节和具体指导的综合信息。我们进行了受控实验和现实世界实验来评估系统的性能，测量了一系列性能指标。

    Jun, 2024

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 面向任务的对话与上下文学习

    使用大型语言模型（LLMs）的上下文学习能力与业务逻辑的确定执行相结合，描述了一种构建面向任务的对话系统的系统。与主要用于行业的基于意图的 NLU 方法相比较，我们的实验表明，使用我们的系统开发聊天机器人所需的工作量明显较少，这些聊天机器人可以成功地进行复杂对话，并且我们的系统对于大规模任务导向的对话系统具有可扩展的有益特性。我们提供了我们的实现用于使用和进一步研究。

    Feb, 2024

  • 增强超市机器人交互：针对多样化顾客意图的多层次 LLM 会话界面

    该论文介绍了一种新型的多层 LLM 接口，用于协助超市机器人为顾客提供服务，并提出了使用多个经过细分调整的小型专用 LLM 来处理不同用户查询的方法，通过与 GPT-4 Turbo 相比较，实验结果表明多层 LLM 机器人在性能、用户满意度、用户 - 代理合作及自我形象等四个关键领域取得了显著改进，同时还提出了一种超市机器人导航的方法，使机器人能够根据聊天机器人的响应将产品引导到正确的货架上，然后通过更低级别的机器人知觉、控制和规划实现物品的自动检索。

    Jun, 2024

  • 基于 LLM 的多轮对话系统的最新进展综述

    本研究综述了基于大型语言模型 (LLMs) 的多轮对话系统的研究进展，包括适应 LLMs 到下游任务的方法，最近在多轮对话系统中的 LLM-based 开放领域对话 (ODD) 和任务导向对话 (TOD) 系统的进展，并且讨论了 LLMs 的发展和对多轮对话系统需求增加所引起的一些未来重点和最近的研究问题。

    Feb, 2024

  • 与环境对话：使用大型语言模型进行交互式多模态感知

    在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

    Mar, 2023

  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023

  • 使用 LLMs 生成饶有表情的机器人行为与桌面机器人 Haru 的对话

    通过将大型语言模型（LLMs）整合到社交机器人中，本研究旨在解决传统基于脚本互动的对话方法在维持有趣的对话方面存在的局限性。我们引入了一个完全自动化的对话系统，利用 LLMs 生成具有有表情的机器人回应，与机器人的个性一致。我们结合两种模式的机器人行为：1）具有多种表现风格的文本转语音（TTS）引擎，和 2）用于机器人的动作库。我们开发了一个定制的最先进的情感识别模型，用于动态选择机器人的语调，并利用 LLM 输出中的表情符号作为生成机器人动作的线索。通过一个志愿者与社交机器人进行对话的试验，我们研究和分析了他们的反馈，对聊天记录进行了严格的错误分析，以阐明设计和实现问题。反馈普遍积极，参与者评论机器人具有共情力、乐于助人、自然和娱乐性。最负面的反馈是由于自动语音识别（ASR）错误，这对对话的影响有限。然而，我们观察到了一类较小的错误，如 LLM 的自我重复或虚构信息和人类回答的产生，这可能会破坏对话，引发了 LLM 应用中的重要问题。

    Feb, 2024