Apr, 2021

MultiWOZ 2.4: 一个包含必要注释更正的多领域任务导向对话数据集，以改进状态追踪评估

PDF
TL;DR本文介绍了 MultiWOZ 2.4，它在 MultiWOZ 2.1 的验证集和测试集中改进了注释，并在此数据集上基于八个最先进的对话状态跟踪模型进行了评测，所有这些模型的表现均比 MultiWOZ 2.1 优异。
multiwozdialogue systemsannotationsstate tracking modelsmodel performance
发现论文，激发创造
  • MultiWOZ 2.3：一个增强的多领域任务导向对话数据集，带有注释更正和同指标注

    本文介绍了 MultiWOZ 2.3 数据集，通过协同指称功能和一致化注释实现了对话行为和对话状态的一致性，提高了自然语言理解和对话状态跟踪的性能表现。

    Oct, 2020

  • MultiWOZ 2.1：一个包含状态纠正和状态跟踪基线的融合多域对话数据集

    MultiWOZ 2.1 是一个包括多个领域的对话数据集，通过重新注释状态和话语，以及合并用户对话行为，解决了 MultiWOZ 2.0 存在的问题，并对该数据集进行了评估，展示了当前最先进的对话状态跟踪模型在该数据集上的表现。

    Jul, 2019

  • MultiWOZ 中的注释不一致性和实体偏倚

    本研究针对 MultiWOZ 数据集中 Dialog State Tracking (DST) 这一任务的注释一致性问题进行了研究，并提出了一种自动的纠正方法，通过该方法可以在数据集上进行 7-10％的 JGA 增强。此外，还检测到数据集中的实体偏差问题，并在新的测试集上测试出实体未知时，JGA 可能下降高达 29％。

    May, 2021

  • MultiWOZ -- 用于任务导向对话建模的大规模多领域人机对话数据集

    本文介绍了一个基于人人写作而成的多领域伪随机项目 (MultiWOZ)，是目前已有数据集中体积最大的任务导向型对话集，其意义在于为未来研究设定了基线，并揭示了其与对话信念状态、对话行为等方面的相关性

    Sep, 2018

  • JMultiWOZ：一个大规模的多领域任务导向对话日语数据集

    为了推动日语任务导向对话系统的研究和发展，本研究构建了 JMultiWOZ，这是第一个规模较大的多领域任务导向对话数据集。通过使用 JMultiWOZ 评估英语基准数据集 MultiWOZ2.2 和最新的大型语言模型 (LLM) 方法的对话状态跟踪和响应生成能力，评估结果表明 JMultiWOZ 与 MultiWOZ2.2 具有相当的水平。此外，通过与模型和人类参与者进行交互对话的评估实验，我们发现日语中 LLMs 在任务完成能力上存在局限性。

    Mar, 2024

  • Multi3WOZ：用于培训和评估文化适应任务导向对话系统的多语言、多领域、多并行数据集

    创造高质量的任务导向对话（ToD）的注释数据是困难的，特别是在为多种语言创造公平、文化适应性强、大规模的 ToD 数据集时面临诸多挑战。因此，现有的数据集仍然非常有限，并且存在诸多限制，如基于翻译的非母语对话、小规模或缺乏文化适应性等。在这项工作中，我们首先对多语言 ToD 数据集的现状进行了全面的梳理，提供了它们的特点和限制的系统概述。为了减少所有检测到的限制，我们推出了 Multi3WOZ，这是一个创新的多语言、多领域、多平行 ToD 数据集。它是大规模的，并且提供了四种语言的文化适应对话，以便训练和评估多语言和跨语言的 ToD 系统。我们描述了一个复杂的自下而上的数据收集过程，得到了最终的数据集，并提供了将来参考的不同 ToD 相关任务的基准分数，并突出了它具有挑战性的特点。

    Jul, 2023

  • Multi2WOZ: 一个强大的多语言数据集和面向任务型对话的预训练

    本文介绍了 Multi2WOZ 多语言多领域任务导向对话数据集，并提出了一种用于传输任意下游任务的多语言对话 PrLM 的新框架，证明了在多数情况下，最佳表现是将（I）针对目标语言的会话专业化与（ii）少次转移结合在一起，并且我们展示了针对目标语言的会话专业化可以实现下游任务的异常样本效率的少次转移。

    May, 2022

  • 多用户多 WOZ：多用户之间的任务导向对话

    通过收集多用户多 WOZ 数据集，该研究提出了多用户背景下的查询重写任务，旨在将两个用户之间的对话重写成只包含任务相关信息、能够被对话系统直接处理的简洁任务查询，实验证明通过预测的重写方式，显著提高了对话状态跟踪的性能，并且可以适用于未知领域。

    Oct, 2023

  • NeuralWOZ: 基于模型的仿真学习任务导向对话收集

    本文提出了一种新型的对话收集框架，名为 NeuralWOZ，该框架使用基于模型的对话模拟，并且使用 collector 和 labeler 两个模型，其中 collector 生成对话，而 labeler 则将生成的对话进行注释并将注释形成为一个多项选择问题。这个方法在对话状态跟踪的零样例转移学习中表现出了很好的效果，产生的合成对话语料库在多个领域上以 4.4％的联合目标准确度和 5.7％的待测试覆盖率的改善实现了新的最高水平。

    May, 2021

  • ASSIST: 面向标签噪声鲁棒的对话状态跟踪

    本文提出了一种名为 ASSIST 的框架来训练从带噪标签中学习的 DST 模型。ASSIST 使用在小型干净数据集上训练的辅助模型生成每个训练样本的伪标签，然后将生成的伪标签和带噪标签一起用于训练主模型，实验表明，ASSIST 可以将 DST 的联合目标准确度在 MultiWOZ 2.0 和 MultiWOZ 2.4 上分别提高 28.16％和 8.41％，相对于只使用带噪标签。

    Feb, 2022