基于 Multi-Task BERT 模型的 Schema-Guided 对话状态跟踪

Jul, 2022

基于 Multi-Task BERT 模型的 Schema-Guided 对话状态跟踪

A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking

Eleftherios Kapelonis, Efthymios Georgiou, Alexandros Potamianos

TL;DR文章提出了一种基于多任务 BERT 模型的对话状态跟踪器，可以同时解决意图预测、请求插槽预测和插槽填充等三个 DST 任务，并采用高效和简洁的对话历史和服务架构编码来提高性能。通过对 SGD 数据集进行的评估，结果表明该方法在计算效率明显提高的同时，大幅度超越了基线 SGP-DST，并且性能表现接近于最先进的模型。

Abstract

task-oriented dialogue systems often employ a Dialogue State Tracker (DST) to successfully complete conversations. Recent state-of-the-art DST implementations rely on schemata of diverse services to improve model robustness and handle zero-shot generalization to new domains [1], howeve

task-oriented dialogue systems dialogue state tracker (dst)multi-task bert-based model intent prediction slot filling

发现论文，激发创造

针对基于模式引导的零样本对话状态跟踪进行 BERT 微调

本文提出了一种基于预训练语言模型 BERT 微调的无监督对话状态跟踪系统 (SGP-DST)，它包括意图预测、关键词填充、槽传递预测和用户状态总结 4 个模块，是目前在第八届对话系统技术挑战赛中排名第三的解决方案。

Feb, 2020

目标导向的多任务 BERT 对话状态跟踪器

本文提出了一种基于 BERT 模型的 GOaL-Oriented 多任务对话状态跟踪器（GOLOMB），该模型通过查询对话历史记录中的槽口和服务的描述以及可能的槽口值来传输多域对话中的槽口值，并具有扩展到未见过的槽口类型的能力。我们的模型在 SGD 数据集上取得了 53.97％的联合目标准确率，优于基线模型。

Feb, 2020

基于 BERT 的快速而健壮的基于模式引导的对话数据集跟踪器

本文介绍了一种基于 BERT 的快速和强健的模型 FastSGT 用于在目标导向对话系统中跟踪对话状态，在实验中，FastSGT 在保持计算和内存消耗效率的同时，显着提高了准确性，并通过数据增强显示了提高准确性的有效性。

Aug, 2020

BERT-DST: 基于双向变换器编码器表示的可扩展端到端对话状态跟踪

本研究提出了 BERT-DST，一种基于 BERT 的端到端的对话状态跟踪器，它可以从对话上下文中直接提取槽值，并采用所有槽的编码参数共享的方法，实现了可扩展的对话状态跟踪。实证评估表明，BERT-DST 在可扩展的数据集 Sim-M 和 Sim-R 上优于之前的方法，在标准数据集 DSTC2 和 WOZ 2.0 上取得了具有竞争力的性能。

Jul, 2019

MA-DST: 基于多注意力的可扩展对话状态跟踪

本文提出了一种新的架构，利用多粒度的注意力机制来更稳健地编码对话历史和槽的语义，用于实现准确的跨域对话状态跟踪，并在 MultiWoZ 2.1 数据集上将联合目标准确率提高了 5%（绝对值），并在零 - shot 设置下比现有最先进技术提高至多 2%（绝对值）。

Feb, 2020

面向资源受限系统的简单而有效的 BERT 模型用于对话状态跟踪

本文提出一种基于 BERT 的简单而有效的对话状态跟踪模型，避免了当前神经架构通常存在的繁琐和复杂，具有不随本体论规模增长和适用于领域本体动态变化的优点。经实验验证，该模型在标准 WoZ 2.0 数据集上显著优于以往方法，经知识蒸馏压缩后性能依旧可与原模型相媲美，在资源受限的系统中表现出出色的效果。

Oct, 2019

DSTC8 中的基于模式引导的对话状态跟踪任务

本文介绍了第 8 届对话系统技术挑战赛的 Schema-Guided 对话状态跟踪任务，其目标是开发适用于大型虚拟助手的对话状态跟踪模型，重点是跨域的数据高效联合建模和新 API 的零 - shot 推广。本任务提供了一个包含 16 个领域超过 16000 个对话的数据集，其中包括一个能够零 - shot 推广到新 API 的基线模型。本文介绍了任务定义、数据集和评估方法，并概述了提交系统的方法和结果，以突出现今最先进技术的总体趋势。

Feb, 2020

多域对话状态跟踪的高效上下文和模式融合网络

本文提出了一种基于内部和外部注意机制的上下文和架构融合网络来编码对话上下文和架构图，能够在 MultiWOZ 2.0 和 MultiWOZ 2.1 基准测试中获得最新的最佳性能的开放词汇 DST。

Apr, 2020

一个面向对话状态追踪的序列转序列方法

该研究论文提出了一种新的对话状态追踪方法，使用 Seq2Seq-DU，该方法通过两个基于 BERT 的编码器来编码对话中的话语和模式的描述，可以有效地处理类别和非类别槽，并能够联合建模意图、槽和槽值，其效果较现有方法更为优越。

Nov, 2020

可扩展的多领域对话状态跟踪

本文介绍了一种基于深度学习的可伸缩的多领域对话状态跟踪方法，通过引入一个新的状态跟踪框架，该框架独立于具体的槽值集合，并将对话状态表示为候选值集合的分布，此方法能够快速适应新领域，提高跨领域和可扩展性。

Dec, 2017