Mar, 2022

任务导向的对话数据集并非对话型的！

PDF
TL;DR本文通过分类对话和上下文效果，分析 MultiWOZ，SGD 和 SMCalFlow 等最近和广泛使用的任务型对话数据集，发现少于 4％的 MultiWOZ 的句子和 10％的 SGD 的句子具有对话效果，而 SMCalFlow 在其当前版本中根本不具有对话效果。
task-oriented dialogdialog datasetsconversational effectsmultiwozsgd
发现论文，激发创造
  • 多用户多 WOZ：多用户之间的任务导向对话

    通过收集多用户多 WOZ 数据集，该研究提出了多用户背景下的查询重写任务，旨在将两个用户之间的对话重写成只包含任务相关信息、能够被对话系统直接处理的简洁任务查询，实验证明通过预测的重写方式，显著提高了对话状态跟踪的性能，并且可以适用于未知领域。

    Oct, 2023

  • Taskmaster-1: 迈向逼真多样话语数据集

    该研究介绍了一个新的数据集 Taskmaster-1，其中包括 13,215 个基于任务的对话，包括六个领域。数据集包含了更多现实和多样化的对话，使用了两种不同的方法进行数据收集并提供了多个基准模型，其中 API 调用和参数被标记为基于任务的对话系统的研究、开发和设计提供了新的前景。

    Sep, 2019

  • 评估基于任务的对话系统在口语交流中的鲁棒性：“你有多强大？

    研究口语任务导向对话状态跟踪和基于知识的对话建模，提出使用已有数据集不足的问题，借助 n-best 语音识别假设，改善任务绩效，并说明现有模型在口语数据方面存在不足，研究结果呈现有利于基于语音的任务导向对话系统的基准测试数据集。

    Sep, 2021

  • JMultiWOZ：一个大规模的多领域任务导向对话日语数据集

    为了推动日语任务导向对话系统的研究和发展，本研究构建了 JMultiWOZ，这是第一个规模较大的多领域任务导向对话数据集。通过使用 JMultiWOZ 评估英语基准数据集 MultiWOZ2.2 和最新的大型语言模型 (LLM) 方法的对话状态跟踪和响应生成能力，评估结果表明 JMultiWOZ 与 MultiWOZ2.2 具有相当的水平。此外，通过与模型和人类参与者进行交互对话的评估实验，我们发现日语中 LLMs 在任务完成能力上存在局限性。

    Mar, 2024

  • MultiWOZ 2.3：一个增强的多领域任务导向对话数据集，带有注释更正和同指标注

    本文介绍了 MultiWOZ 2.3 数据集，通过协同指称功能和一致化注释实现了对话行为和对话状态的一致性，提高了自然语言理解和对话状态跟踪的性能表现。

    Oct, 2020

  • 提高对话管理：质量数据集对模型的影响

    通过研究 Multiwoz 2.1 和 SGD 数据集中的错误，本文证明了任务导向的对话系统中数据集错误是导致对话管理不达到最佳性能的主要原因，并提出了使用合成对话生成器来控制错误量和类型的方法。

    Oct, 2023

  • 在任务导向对话数据集中寻找开放领域对话片段

    结合话题建模，研究 Schema-Guided Dialogues 和 MultiWOZ 的训练集，发现社交对话序列的存在，进一步推动了如何将闲聊融入任务导向对话的研究。

    Nov, 2023

  • MultiWOZ -- 用于任务导向对话建模的大规模多领域人机对话数据集

    本文介绍了一个基于人人写作而成的多领域伪随机项目 (MultiWOZ)，是目前已有数据集中体积最大的任务导向型对话集，其意义在于为未来研究设定了基线，并揭示了其与对话信念状态、对话行为等方面的相关性

    Sep, 2018

  • 面向任务的对话作为数据流综合

    本研究提出了一种基于数据流图表示对话状态并引入元计算符以复用过去状态的方法，并针对此开发了 SMCalFlow 数据集以进行有关事件、天气、地点和人物等问题的复杂对话，实验证明基于数据流图和元计算的方法可显著提高此类自然对话的可表达性和可预测性，同时将其与现有的任务领域状态跟踪模型进行了比较。

    Sep, 2020

  • 面向任务的对话状态生成的长上下文建模

    本论文提出了一种基于 TRADE 的可转移对话状态生成器，结合简单有效的话语标记技术和双向语言模型的多任务学习模型，旨在解决基线性能在长对话上大幅下降的问题，最终在 MultiWOZ 2.0 数据集上实现了 52.04％的联合目标准确性，相对提高了 7.03％，成为了最新的最先进技术。

    Apr, 2020