基于可靠 LLM 的任务导向对话系统用户模拟器
为了推动自动化任务导向对话系统的评估，本研究提出了一种基于预训练语言模型的新型用户模拟器，并通过上下文学习来生成具有鲁棒性和语言多样性的输出，以模拟人类对话行为。通过与现有对话系统交互，并收集人机交互数据集，验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。
Sep, 2023
本文提出使用隐喻用户模拟器和基于测试者的评估框架对任务型对话系统进行评估，在三个数据集的实验中，隐喻用户模拟器在准确性上表现更好，并证明了框架的高效性和良好的泛化和可扩展性。
Apr, 2022
该研究论文介绍了用于电影预订领域的用户模拟器，它利用规则和收集到的数据，并支持电影票预订和电影寻找两个任务。为了实现对对话框架的经验算法比较，论文提出了一种新的模拟框架，展示了多个代理的思路，并详细介绍了将自己的代理添加到所提出的框架中进行测试的过程。
Dec, 2016
本研究提出了一种基于大型语言模型的用户模拟方法来优化面向任务的对话系统，这种方法通过在用户目标和有限对话示例的基础上产生多样化的话语来消除手工规则定义或广泛注释数据的需要，并对用户模拟器和对话系统之间的相互作用进行了误差分析，提供了改进的有价值见解。
Jun, 2023
DuetSim 是一个利用大型语言模型的创新框架，通过采用两个语言模型来生成任务导向的对话，既增加了回答的多样性又提高了准确性，通过在 MultiWOZ 数据集上的实验证实了其效果。
May, 2024
本文提出了一种交互式评估框架用于任务指向对话（TOD）系统，通过构建用户目标的预训练模型和使用用户模拟器来交互评估，实验结果表明，我们的提议可以实现与多 WoZ 数据集中的 TOD 任务 98％的成功率和信息率，并引入了句子层和会话层得分来衡量响应质量。
Oct, 2022
本论文提出一种基于神经网络的端到端用户仿真模型，用于对话系统的自动评估和训练，采用分层序列到序列模型，并利用隐变量模型引入随机变化，以提高仿真用户响应的多样性，并制定了目标正则化机制，以惩罚用户对初始用户目标的偏离。
Nov, 2018
采用 User-Guided Response Optimization 来结合 LLMs 和较小的 TOD 模型并利用 LLMs 生成用户模拟反馈来优化 TOD 模型，实验结果表明我们的方法优于现有最佳方法。
Jun, 2023
通过对话系统和用户模拟器之间的交互，开发了一种建模框架，旨在通过自动对话场景的创建来解决训练数据不足的问题，并使用强化学习来改进智能体的行为，从而在转移学习中提高对话系统性能。
Jul, 2021