灵活吸收逐轮表现的对话状态跟踪公正评价

ACLApr, 2022

灵活吸收逐轮表现的对话状态跟踪公正评价

Towards Fair Evaluation of Dialogue State Tracking by Flexible Incorporation of Turn-level Performances

Suvodip Dey, Ramamohan Kummara, Maunendra Sankar Desarkar

TL;DR本文介绍了对话状态跟踪的常用评估方法 Joint Goal Accuracy，分析了其缺陷，提出了一种新的评估指标 Flexible Goal Accuracy，该指标灵活地考虑了累计和单独分开预测的准确性，以提高对 DST 模型性能的鉴别力。

Abstract

dialogue state tracking (DST) is primarily evaluated using Joint Goal Accuracy (JGA) defined as the fraction of turns where the ground-truth dialogue state exactly matches the prediction. Generally in DST, the dialogue state or belief state for a given turn contains all the intents sho

dialogue state tracking joint goal accuracy flexible goal accuracy evaluation metrics dst model performance

发现论文，激发创造

粒度变更准确性：对话状态追踪的更精确性能度量

当前对话状态跟踪 (DST) 系统评估的指标存在三个主要限制：i) 错误地假定对话中的槽位均匀分布，ii) 忽略对个别对话进行部分评分，iii) 经常通过重复计算模型成功或失败的预测来高估或低估性能。为了解决这些缺点，我们引入了一种新的指标：Granular Change Accuracy (GCA)。GCA 侧重于评估整个对话历史中对话状态的预测变化。基准测试显示，GCA 能够有效减少由分布均匀性和错误位置引起的偏差，从而实现更精确的评估。值得注意的是，我们发现在评估少样本或零样本训练模型时，这些偏差尤为显著，并随着模型的错误率增加而变得更加明显。因此，GCA 在评估资源有限的模型时具有重要的潜力。我们的 GCA 实现是对 DST 指标库的有价值补充。

Mar, 2024

对话状态跟踪中的多轮对话和评估指标不匹配

本文提出了一种相对槽位准确性评估方法来补充对话状态跟踪任务中当前评估指标的缺陷，并鼓励使用各种补充评估指标来进行真实的评估。

Mar, 2022

目标导向的多任务 BERT 对话状态跟踪器

本文提出了一种基于 BERT 模型的 GOaL-Oriented 多任务对话状态跟踪器（GOLOMB），该模型通过查询对话历史记录中的槽口和服务的描述以及可能的槽口值来传输多域对话中的槽口值，并具有扩展到未见过的槽口类型的能力。我们的模型在 SGD 数据集上取得了 53.97％的联合目标准确率，优于基线模型。

Feb, 2020

预测对话状态和对话内容的多级融合对话状态跟踪

本论文提出了一种多层次融合对话状态跟踪（DST）网络，通过建模每个对话轮次的交互，实现从以往对话历史和当前对话上下文中抽取对话状态信息，进行预测和融合，加强对当前对话状态的跟踪和理解，实验结果表明该模型在 MultiWOZ 2.0 和 MultiWOZ 2.1 数据集上取得了当前领先的 55.03% 和 59.07% 联合灵敏度值。

Jul, 2021

通过识别相关上下文来改善对话状态跟踪

提出了一种新颖的 DST 框架，它通过有关特定 slot 值更改的过去话语来识别相关历史上下文，并将其与加权系统话语一起使用以确定相关上下文，实验证明该方法在 WoZ 2.0 和 MultiWoZ 2.0 餐厅领域数据集上比先前的 GLAD 模型提高了 2.75％和 2.36％的目标准确性。

Apr, 2019

使用 GPT-4 的二维零样本对话状态跟踪评估方法

我们提出了一种使用 GPT-4 的二维零样本评价方法，将对话状态跟踪 (DST) 评价分为准确性和完整性两个维度，并设计了两条手动推理路径来进一步提高评价准确性，实验结果表明我们的方法比基线方法取得了更好的性能，并且与传统的精确匹配方法一致。

Jun, 2024

可扩展的多领域对话状态跟踪

本文介绍了一种基于深度学习的可伸缩的多领域对话状态跟踪方法，通过引入一个新的状态跟踪框架，该框架独立于具体的槽值集合，并将对话状态表示为候选值集合的分布，此方法能够快速适应新领域，提高跨领域和可扩展性。

Dec, 2017

基于 BERT 的快速而健壮的基于模式引导的对话数据集跟踪器

本文介绍了一种基于 BERT 的快速和强健的模型 FastSGT 用于在目标导向对话系统中跟踪对话状态，在实验中，FastSGT 在保持计算和内存消耗效率的同时，显着提高了准确性，并通过数据增强显示了提高准确性的有效性。

Aug, 2020

通过示例引导的问答方式进行连续对话状态跟踪

通过将对话状态追踪重新构想为一个打包的例子指导的问题回答任务，以利于持续学习并减少服务特定的记忆，该方法通过学习在过程中上下文的例子以及结合对话层次的记忆回放方法，无需依赖于任何复杂的规范化或参数扩展方法，便可获得 DST 持续学习度量上的最先进性能。

May, 2023

可修改的对话状态跟踪生成

本研究针对任务导向对话系统中对话状态跟踪方法的错误传播问题，提出了一种新的、可编辑生成的对话状态跟踪方法 (AG-DST)，其中包含两次生成过程，通过额外的修订生成过程来修正原始对话状态中存在的错误。实验表明，AG-DST 方法显著优于现有方法，在 MultiWOZ 2.2 和 WOZ 2.0 数据集上均取得了最新的性能。

Oct, 2021