Apr, 2022

用于评估面向任务对话系统的比喻用户模拟器

PDF
TL;DR本文提出使用隐喻用户模拟器和基于测试者的评估框架对任务型对话系统进行评估，在三个数据集的实验中，隐喻用户模拟器在准确性上表现更好，并证明了框架的高效性和良好的泛化和可扩展性。
task-oriented dialogue systemsuser simulatorevaluationmetaphorical user simulatortester-based evaluation framework
发现论文，激发创造
  • 基于可靠 LLM 的任务导向对话系统用户模拟器

    DAUS 是一种基于大型语言模型的领域感知用户模拟器，通过在真实的面向任务对话示例上进行微调，显著提高用户目标的实现，并有效减少模拟器回应中的不一致性来源。

    Feb, 2024

  • 使用大型语言模型进行任务导向对话评估的用户模拟

    为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

    Sep, 2023

  • 基于任务导向对话系统用户满意度的模拟评估

    通过提出用户满意度注释数据集，构建类人用户模拟器来衡量对话质量

    May, 2021

  • 任务完成对话用户模拟器

    该研究论文介绍了用于电影预订领域的用户模拟器，它利用规则和收集到的数据，并支持电影票预订和电影寻找两个任务。为了实现对对话框架的经验算法比较，论文提出了一种新的模拟框架，展示了多个代理的思路，并详细介绍了将自己的代理添加到所提出的框架中进行测试的过程。

    Dec, 2016

  • 面向任务对话的用户建模

    本论文提出一种基于神经网络的端到端用户仿真模型，用于对话系统的自动评估和训练，采用分层序列到序列模型，并利用隐变量模型引入随机变化，以提高仿真用户响应的多样性，并制定了目标正则化机制，以惩罚用户对初始用户目标的偏离。

    Nov, 2018

  • 通过用户模拟评估对话式推荐系统

    本文提出一种通过用户模拟来替代人类评估的方法，以实现对话推荐系统的自动评估。作者表明，通过考虑用户的个人喜好和与系统的一般交互流程，偏好建模和特定任务交互模型都有助于实现高度自动化的绩效评估结果和人工人工评估的高度相关性。

    Jun, 2020

  • 如何构建用户模拟器以训练基于强化学习的对话系统

    我们提出一种标准化用户模拟器构建的方法，用于评估对话系统质量。我们使用不同的对话规划和生成方法训练六个用户模拟器，并计算一组自动指标来评估这些模拟器的质量。此外，通过让人类用户评估模拟器并与训练系统交互，间接地和直接地评估了这些模拟器。本文提供了一个全面的用户模拟器研究评估框架，并更好地理解了不同用户模拟器的优缺点及其对训练系统的影响。

    Sep, 2019

  • 针对任务导向对话系统的上下文学习用户模拟器

    本研究提出了一种基于大型语言模型的用户模拟方法来优化面向任务的对话系统，这种方法通过在用户目标和有限对话示例的基础上产生多样化的话语来消除手工规则定义或广泛注释数据的需要，并对用户模拟器和对话系统之间的相互作用进行了误差分析，提供了改进的有价值见解。

    Jun, 2023

  • 评估大型语言模型作为生成式用户模拟器用于对话推荐

    通过五项任务评估语言模型在对话推荐中模拟人类行为的效果，研究发现基准模拟器的评估可以揭示语言模型与人类行为的差异，并提供了模型选择和提示策略的见解。

    Mar, 2024

  • EmoUS: 任务导向对话中模拟用户情绪

    EmoUS 是一种用户模拟器，它可以学习用户情绪并在用户目标、对话历史和用户角色的基础上生成用户情绪、语义动作和自然语言响应，可以作为探针评估各种对话系统及其对用户情绪的影响。

    Jun, 2023