ACLJul, 2023

Multi3WOZ:用于培训和评估文化适应任务导向对话系统的多语言、多领域、多并行数据集

TL;DR创造高质量的任务导向对话(ToD)的注释数据是困难的,特别是在为多种语言创造公平、文化适应性强、大规模的 ToD 数据集时面临诸多挑战。因此,现有的数据集仍然非常有限,并且存在诸多限制,如基于翻译的非母语对话、小规模或缺乏文化适应性等。在这项工作中,我们首先对多语言 ToD 数据集的现状进行了全面的梳理,提供了它们的特点和限制的系统概述。为了减少所有检测到的限制,我们推出了 Multi3WOZ,这是一个创新的多语言、多领域、多平行 ToD 数据集。它是大规模的,并且提供了四种语言的文化适应对话,以便训练和评估多语言和跨语言的 ToD 系统。我们描述了一个复杂的自下而上的数据收集过程,得到了最终的数据集,并提供了将来参考的不同 ToD 相关任务的基准分数,并突出了它具有挑战性的特点。