PRESTO: 一个用于解析现实任务导向对话的多语言数据集
该研究介绍了一个新的数据集 Taskmaster-1,其中包括 13,215 个基于任务的对话,包括六个领域。数据集包含了更多现实和多样化的对话,使用了两种不同的方法进行数据收集并提供了多个基准模型,其中 API 调用和参数被标记为基于任务的对话系统的研究、开发和设计提供了新的前景。
Sep, 2019
本文提出了一种新的多语言数据集 MTOP,用于任务导向的语义解析,并使用该数据集和其他公开数据集来对最新的多语言预训练模型进行全面的基准测试,得到了 6.3 个 Slot F1 平均提高,并展示了使用预训练模型和自动翻译和对齐,以及远程监督方法结合,以减少槽标签投影中的噪声来实现强大的零 - shot 性能。
Aug, 2020
本文通过众包开发了包含近 22k 个发言、15 个不同领域和 1061 个对话的波斯语对话数据集,并对其进行了标注以训练模型。同时,我们提出了一些用于自然语言理解(NLU)任务的基准模型,其中,意图分类的 F-1 得分约为 91%,实体抽取的 F-1 得分约为 93%,这可作为未来研究的基准。
Jan, 2024
本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制,并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型,并在 MultiWOZ 数据集上进行了验证,结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题,进而支持构建更具吸引力和更流畅的任务导向的对话代理人。
Jul, 2019
我们提供了一个高质量的数据集,包含 74 种语言中的超过 70k 个提示 - 回应对,用于训练最先进的开源英语语言模型,以实现多语言对话。在 6 种语言的 MT-Bench 对话基准测试中,我们的多语言模型优于先前的开源语言模型。此外,我们发现在更多多语言数据上进行训练有助于比仅仅在特定语言的数据上进行训练(如日语),从而提高性能。这些结果表明,在大量高质量多语言数据的训练下,实现更易用的语言模型变得必要。
May, 2024
我们介绍了 HR-Multiwoz,这是一个包含 550 个涵盖 10 个 HR 领域的完全标记的对话数据集,以评估 LLM Agent。该数据集是为自然语言处理 (NLP) 研究的 HR 领域首个开源对话数据集。通过 LLMs 为基础的数据收集流程,大大减少了人员参与的工作量和成本。
Feb, 2024
本文发布了 Spoken Task-Oriented semantic Parsing (STOP) 数据集,这是目前公开可用的最大、最复杂的 SLU 数据集,评估了在有限标注数据情况下改进 SLU 的基于端到端 SLU 系统的低资源领域适应性的性能,并表明端到端 SLU 模型的性能不及级联模型。
Jun, 2022
本文通过整合多个人机对话数据集,结合用户和系统记号改良预训练模型,提出了对话任务 BERT(TOD-BERT)模型,并通过四个对话应用领域的实验验证,表明 TOD-BERT 在意图识别、对话状态跟踪、对话行为预测、响应选择等方面超过了强对话模型 BERT,并且具有更强的少量数据学习能力。
Apr, 2020
本文提出了一种面向任务的对话技术(TOD)前置训练语言模型 (OPAL),采用预训练和微调相结合的方法,成功地解决了无法获得大规模任务对话数据的问题,并在 CamRest676 和 MultiWOZ 基准测试中实现了令人兴奋的提升和竞争性表现。
Sep, 2022