我们提出一种标准化用户模拟器构建的方法，用于评估对话系统质量。我们使用不同的对话规划和生成方法训练六个用户模拟器，并计算一组自动指标来评估这些模拟器的质量。此外，通过让人类用户评估模拟器并与训练系统交互，间接地和直接地评估了这些模拟器。本文提供了一个全面的用户模拟器研究评估框架，并更好地理解了不同用户模拟器的优缺点及其对训练系统的影响。

Sep, 2019

通过对话系统和用户模拟器之间的交互，开发了一种建模框架，旨在通过自动对话场景的创建来解决训练数据不足的问题，并使用强化学习来改进智能体的行为，从而在转移学习中提高对话系统性能。

Jul, 2021

本论文提出一种基于神经网络的端到端用户仿真模型，用于对话系统的自动评估和训练，采用分层序列到序列模型，并利用隐变量模型引入随机变化，以提高仿真用户响应的多样性，并制定了目标正则化机制，以惩罚用户对初始用户目标的偏离。

Nov, 2018

采用对抗训练的用户模拟器能够生成更加真实和多样化的用户行为数据，并用于训练对话系统中的策略，相比于最大似然的模拟器，能够显著提高对话系统的成功率。

Jun, 2023

DAUS 是一种基于大型语言模型的领域感知用户模拟器，通过在真实的面向任务对话示例上进行微调，显著提高用户目标的实现，并有效减少模拟器回应中的不一致性来源。

Feb, 2024

本文介绍了一种采用多智能体对话策略学习的方法，用于同时训练系统和用户策略，并通过角色感知奖励分解和行为者 - 评论家框架提高预训练和可扩展性。结果表明，该方法能够通过对话交互，使两个智能体成功完成任务。

Apr, 2020

为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。

Sep, 2023

本文提出一种采用深度强化学习框架实现的迭代式对话策略优化方法，解决了当前学习对话策略的主流方法之一 - 与用户模拟器进行对话时模拟器可靠性低的难题，同时也极大地提高了任务成功率与任务奖励值。此方法可以广泛应用于端到端任务导向型对话系统中，其关键在于通过深度 RL 来同时优化对话代理和用户模拟器的对话策略，并且对话代理和用户模拟器均建立在端到端的神经网络模型上。

Sep, 2017

通过提出用户满意度注释数据集，构建类人用户模拟器来衡量对话质量

May, 2021

本文提出一种通过用户模拟来替代人类评估的方法，以实现对话推荐系统的自动评估。作者表明，通过考虑用户的个人喜好和与系统的一般交互流程，偏好建模和特定任务交互模型都有助于实现高度自动化的绩效评估结果和人工人工评估的高度相关性。

Jun, 2020