该研究论文介绍了用于电影预订领域的用户模拟器,它利用规则和收集到的数据,并支持电影票预订和电影寻找两个任务。为了实现对对话框架的经验算法比较,论文提出了一种新的模拟框架,展示了多个代理的思路,并详细介绍了将自己的代理添加到所提出的框架中进行测试的过程。
Dec, 2016
本论文提出一种基于神经网络的端到端用户仿真模型,用于对话系统的自动评估和训练,采用分层序列到序列模型,并利用隐变量模型引入随机变化,以提高仿真用户响应的多样性,并制定了目标正则化机制,以惩罚用户对初始用户目标的偏离。
Nov, 2018
我们提出一种标准化用户模拟器构建的方法,用于评估对话系统质量。我们使用不同的对话规划和生成方法训练六个用户模拟器,并计算一组自动指标来评估这些模拟器的质量。此外,通过让人类用户评估模拟器并与训练系统交互,间接地和直接地评估了这些模拟器。本文提供了一个全面的用户模拟器研究评估框架,并更好地理解了不同用户模拟器的优缺点及其对训练系统的影响。
Sep, 2019
该研究论文提出了Conversation Learner,一种结合了规则导向对话管理和基于机器学习的参数模型的机器教学工具,可以通过利用用户和系统之间的对话日志作为训练数据,帮助对话作者构建灵活应对复杂对话的对话管理器。
Apr, 2020
这篇论文介绍了一种使用大型语言模型进行对话模拟的方法—— extsc{Dialogic},它能够自动选择示例并在GPT-3的帮助下生成新的对话和注释,快速扩展小型对话数据集,从而实现更高效和省时的数据集创建。同时,该方法可作为一种有效的数据增强方法,具有接近人类流畅性和注释准确性的模拟对话可以代替人工标注的数据进行模型训练。
Oct, 2022
本文提出了一种以 GPT-2 模型为基础,利用目标状态追踪的生成式用户模拟器(GUS)来解决用户模拟器训练时遇到的挑战,并在 MultiWOZ2.1 数据集上通过交叉模型评估、基于语料库的评估和人类评估等方法对训练出的多个对话系统进行对比,证明了 GUS 在三个评估任务中的表现均优于基于议程的用户模拟器(ABUS)和其他削减模拟器。
本文通过使用 context 动态提示的方法,改善了在多轮任务指向对话系统中的通用响应生成。在 MultiWOZ 2.2 数据集上验证后,相较于仅进行的前缀手段,综合值得分提高了 3 个绝对点,同时还将状态对话的提升幅度加大了 20 个绝对点。
Jan, 2023
为了推动自动化任务导向对话系统的评估,本研究提出了一种基于预训练语言模型的新型用户模拟器,并通过上下文学习来生成具有鲁棒性和语言多样性的输出,以模拟人类对话行为。通过与现有对话系统交互,并收集人机交互数据集,验证了该用户模拟器在单一意图对话目标方面的表现与人类相似。
Sep, 2023
我们开发了一种新型的对话扩充模型,通过完整的对话上下文生成用户的回合,并通过语言模型的新提示设计和输出重新排序,所生成对话可直接用于训练下游对话系统,在常见的基准数据集MultiWoZ和SGD上,展示了我们的对话扩充模型生成高质量对话并使对话成功率较基准线提高多达8%。
Oct, 2023
DAUS是一种基于大型语言模型的领域感知用户模拟器,通过在真实的面向任务对话示例上进行微调,显著提高用户目标的实现,并有效减少模拟器回应中的不一致性来源。
Feb, 2024