Sep, 2023

使用大型语言模型进行任务导向对话评估的用户模拟

PDF
TL;DR为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。
task-oriented dialogue systemsuser simulatorpretrained language modelsautomated evaluationhuman2bot dataset
发现论文，激发创造
  • 基于可靠 LLM 的任务导向对话系统用户模拟器

    DAUS 是一种基于大型语言模型的领域感知用户模拟器，通过在真实的面向任务对话示例上进行微调，显著提高用户目标的实现，并有效减少模拟器回应中的不一致性来源。

    Feb, 2024

  • 释放用户反馈潜力：利用大型语言模型作为用户模拟器来增强对话系统

    采用 User-Guided Response Optimization 来结合 LLMs 和较小的 TOD 模型并利用 LLMs 生成用户模拟反馈来优化 TOD 模型，实验结果表明我们的方法优于现有最佳方法。

    Jun, 2023

  • DuetSim: 使用双大型语言模型构建面向任务对话的用户模拟器

    DuetSim 是一个利用大型语言模型的创新框架，通过采用两个语言模型来生成任务导向的对话，既增加了回答的多样性又提高了准确性，通过在 MultiWOZ 数据集上的实验证实了其效果。

    May, 2024

  • 通过前瞻目标增强大型语言模型引发的面向任务的对话系统

    ProToD 是一种预测未来对话动作并结合目标导向奖励信号来增强对话系统的方法，通过基于目标导向的对话模拟评估方法，可以在仅使用 10% 的数据的情况下实现比以前的全监督模型更好的性能，同时提高用户满意度和效率。

    Sep, 2023

  • MultiWOZ 是一个已解决的任务吗？带有用户模拟器的交互式 TOD 评估框架

    本文提出了一种交互式评估框架用于任务指向对话（TOD）系统，通过构建用户目标的预训练模型和使用用户模拟器来交互评估，实验结果表明，我们的提议可以实现与多 WoZ 数据集中的 TOD 任务 98％的成功率和信息率，并引入了句子层和会话层得分来衡量响应质量。

    Oct, 2022

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 针对任务导向对话系统的上下文学习用户模拟器

    本研究提出了一种基于大型语言模型的用户模拟方法来优化面向任务的对话系统，这种方法通过在用户目标和有限对话示例的基础上产生多样化的话语来消除手工规则定义或广泛注释数据的需要，并对用户模拟器和对话系统之间的相互作用进行了误差分析，提供了改进的有价值见解。

    Jun, 2023

  • 使用状态转换图和大型语言模型模拟任务导向型对话

    该研究探讨了 SynTOD，一种用于开发端到端任务导向对话系统的新型合成数据生成方法，该方法能够处理意图分类、槽填充、对话问答和检索增益响应生成等复杂任务，而无需依赖众包或现实世界的数据。实验结果显示，使用受图引导的响应模拟能够显著提高意图分类、槽填充和响应相关性，相较于单一提示的模拟对话。该研究还调查了不同基础和指导调整的大型语言模型在端到端任务导向对话系统上的有效性，并探索了它们在评估回应和与人类判断之间的相关性。这些发现为领域特定的任务导向对话系统的快速开发和评估铺平了道路。研究团队还发布了用于研究目的的数据集、模型和代码。

    Apr, 2024

  • InstructTODS: 大型语言模型用于端到端任务导向式对话系统

    通过利用大型语言模型，InstructTODS 提供了一种零训练样本的端到端任务导向式对话系统的框架，可以适应多样领域并有效地将用户意图转化为查询，而且在帮助性、信息性和人性化方面明显优于黄金标准回复及现有技术的 TODS。

    Oct, 2023

  • 面向任务的对话与上下文学习

    使用大型语言模型（LLMs）的上下文学习能力与业务逻辑的确定执行相结合，描述了一种构建面向任务的对话系统的系统。与主要用于行业的基于意图的 NLU 方法相比较，我们的实验表明，使用我们的系统开发聊天机器人所需的工作量明显较少，这些聊天机器人可以成功地进行复杂对话，并且我们的系统对于大规模任务导向的对话系统具有可扩展的有益特性。我们提供了我们的实现用于使用和进一步研究。

    Feb, 2024