Jul, 2019

BERT-DST: 基于双向变换器编码器表示的可扩展端到端对话状态跟踪

PDF
TL;DR本研究提出了 BERT-DST，一种基于 BERT 的端到端的对话状态跟踪器，它可以从对话上下文中直接提取槽值，并采用所有槽的编码参数共享的方法，实现了可扩展的对话状态跟踪。实证评估表明，BERT-DST 在可扩展的数据集 Sim-M 和 Sim-R 上优于之前的方法，在标准数据集 DSTC2 和 WOZ 2.0 上取得了具有竞争力的性能。
dialogue state trackingbertcontextualized language representationsscalableslot values
发现论文，激发创造
  • 基于 Multi-Task BERT 模型的 Schema-Guided 对话状态跟踪

    文章提出了一种基于多任务 BERT 模型的对话状态跟踪器，可以同时解决意图预测、请求插槽预测和插槽填充等三个 DST 任务，并采用高效和简洁的对话历史和服务架构编码来提高性能。通过对 SGD 数据集进行的评估，结果表明该方法在计算效率明显提高的同时，大幅度超越了基线 SGP-DST，并且性能表现接近于最先进的模型。

    Jul, 2022

  • 可扩展的多领域对话状态跟踪

    本文介绍了一种基于深度学习的可伸缩的多领域对话状态跟踪方法，通过引入一个新的状态跟踪框架，该框架独立于具体的槽值集合，并将对话状态表示为候选值集合的分布，此方法能够快速适应新领域，提高跨领域和可扩展性。

    Dec, 2017

  • 通过分层序列生成实现可扩展和准确的对话状态跟踪

    通过使用分层编解码结构直接生成信念状态序列的方法，我们提出了一种不需要预定义本体列表的对话状态跟踪方法，并在多域和单域对话状态跟踪数据集上进行了实验，取得了最先进的性能。

    Sep, 2019

  • 面向资源受限系统的简单而有效的 BERT 模型用于对话状态跟踪

    本文提出一种基于 BERT 的简单而有效的对话状态跟踪模型，避免了当前神经架构通常存在的繁琐和复杂，具有不随本体论规模增长和适用于领域本体动态变化的优点。经实验验证，该模型在标准 WoZ 2.0 数据集上显著优于以往方法，经知识蒸馏压缩后性能依旧可与原模型相媲美，在资源受限的系统中表现出出色的效果。

    Oct, 2019

  • 对话状态跟踪中联合优化状态操作预测和值生成

    本文提出了一种基于 Transformer 的框架，将 BERT 作为编码器和解码器，通过共同优化操作预测目标和值生成目标来实现多领域对话状态跟踪，同时重复使用编码器的隐藏状态构建平面编码器 - 解码器架构来实现有效的参数更新，实验表明我们的方法显著优于现有的最先进框架，并且达到了最佳本体论方法的非常有竞争力的性能。

    Oct, 2020

  • 一个面向对话状态追踪的序列转序列方法

    该研究论文提出了一种新的对话状态追踪方法，使用 Seq2Seq-DU，该方法通过两个基于 BERT 的编码器来编码对话中的话语和模式的描述，可以有效地处理类别和非类别槽，并能够联合建模意图、槽和槽值，其效果较现有方法更为优越。

    Nov, 2020

  • 基于 BERT 的快速而健壮的基于模式引导的对话数据集跟踪器

    本文介绍了一种基于 BERT 的快速和强健的模型 FastSGT 用于在目标导向对话系统中跟踪对话状态，在实验中，FastSGT 在保持计算和内存消耗效率的同时，显着提高了准确性，并通过数据增强显示了提高准确性的有效性。

    Aug, 2020

  • 针对基于模式引导的零样本对话状态跟踪进行 BERT 微调

    本文提出了一种基于预训练语言模型 BERT 微调的无监督对话状态跟踪系统 (SGP-DST)，它包括意图预测、关键词填充、槽传递预测和用户状态总结 4 个模块，是目前在第八届对话系统技术挑战赛中排名第三的解决方案。

    Feb, 2020

  • MA-DST: 基于多注意力的可扩展对话状态跟踪

    本文提出了一种新的架构，利用多粒度的注意力机制来更稳健地编码对话历史和槽的语义，用于实现准确的跨域对话状态跟踪，并在 MultiWoZ 2.1 数据集上将联合目标准确率提高了 5%（绝对值），并在零 - shot 设置下比现有最先进技术提高至多 2%（绝对值）。

    Feb, 2020

  • 基于状态图的跨领域对话状态跟踪

    本文探讨了利用关系图与 relational-GCN 图卷积网络构建聊天机器人多域对话跟踪模型的方法，实验结果表明，该方法实现了新的最佳性能，优于使用现有方法提出的深度学习技术的性能。

    Oct, 2020