ICLROct, 2020

CoCo: 用于评估对话状态跟踪器的可控因果推断

PDF
TL;DR本文提出使用可控反事实推理 (CoCo) 来对话状态跟踪模型（DST）进行鲁棒性评估，利用 CoCo 生成的反事实对话场景来评估在 MultiWOZ 数据集上的 DST 模型，结果表明相对于传统的技术方法，CoCo 会对 DST 模型的性能造成相当大的影响。
dialogue state trackingcontrollable counterfactualsmultiwoz datasetperformance droprobustness evaluation
发现论文，激发创造
  • 对话状态跟踪的思维链解释

    对话状态跟踪（DST）是记录对话交互中用户查询和目标的任务，当前方法透明地决定槽值，而人类通常采用更为深思熟虑的方法，通过收集相关对话回合的信息，然后推理出适当的值。本文提出的 Chain-of-Thought-Explanation（CoTE）模型旨在确定槽值后，逐步创建详细的解释，从而提高槽值的准确性和可靠性。为了提高 CoTE 的推理能力，我们进一步使用自动改写构建了更流畅和高质量的解释，即 CoTE-refined 方法。在三个公认的 DST 基准（MultiWOZ 2.2、WoZ 2.0 和 M2M）上进行的实验证实了 CoTE 的显著有效性。此外，通过细致的细粒度分析，我们发现 CoTE 在长对话回合、用户回应和推理步骤有较为明显的益处。

    Mar, 2024

  • 超越粒度：基于多角度对话协同选择的对话状态跟踪

    本研究提出了 DiCoS-DST 方法，该方法根据三个角度（与槽名称的显式连接、与当前对话的相关性、隐含提及导向推理）动态选择与各个槽相关的对话内容来更新状态，该方法在多个基准测试数据集上实现了卓越的性能表现。

    May, 2022

  • COCO-Counterfactuals: 自动构建的图像 - 文本对反事实例子

    利用文本到图像扩散模型，介绍了一种自动生成对应对的反事实例子的可扩展框架，创造了基于 MS-COCO 数据集的多模态反事实数据集 COCO-Counterfactuals，并通过人工评估验证了其质量，进一步表明现有的多模态模型受到了反事实图文对的挑战，并展示了 COCO-Counterfactuals 在通过训练数据增强改善跨域通用性的多模态视觉语言模型方面的实用性。

    Sep, 2023

  • 向更真实的对话状态跟踪迈进：包括回退话语

    研究表明，当前的基准数据集不足以处理在谈话中改变主意的情况，当 template-based 的 turnback utterances 注入到数据集中时，DST 模型无法参考之前的用户偏好，导致性能显著下降，但是当这些场景在训练集中被明确设计时，这种性能下降是能够得到恢复的，这表明问题不在 DST 模型本身，而在于基准数据集的构建。

    Aug, 2021

  • 通过识别相关上下文来改善对话状态跟踪

    提出了一种新颖的 DST 框架，它通过有关特定 slot 值更改的过去话语来识别相关历史上下文，并将其与加权系统话语一起使用以确定相关上下文，实验证明该方法在 WoZ 2.0 和 MultiWoZ 2.0 餐厅领域数据集上比先前的 GLAD 模型提高了 2.75％和 2.36％的目标准确性。

    Apr, 2019

  • 对话状态跟踪的交互槽对比学习对话状态蒸馏网络

    本文提出一种 Dialogue State Distillation Network（DSDN）用于进行任务导向的对话系统中的 Dialogue State Tracking（DST），并且在 MultiWOZ 2.0 和 MultiWOZ 2.1 数据集上实验证明，该网络可以动态地利用先前的对话状态并避免引入误差传播，同时还可以有效地捕捉来自对话语境的插槽共同更新关系

    Feb, 2023

  • DISCO: 利用大型语言模型提取短语反事实

    该论文提出了一种名为 DISCO 的新框架，可以使用大规模语言模型生成高质量的反事实数据，并借助特定于任务的老师模型过滤生成，以提高模型的稳健性和泛化性能。实验结果表明，使用这种方式进行学习，学生模型的鲁棒性和跨分布能力比基线提高了 6%（绝对）和 5%。

    Dec, 2022

  • 控制用户对话行为增强对话状态跟踪

    介绍了 CUDA-DST 方法，将用户 utterances 转换成具有不同行为的 utterances，并获得改进，表现出更好的鲁棒性，在 MultiWOZ 2.1 数据集上取得了最新的性能。

    Jul, 2022

  • CoSIm：针对反事实场景想象的常识推理

    本文介绍了一个名为 Commonsense Reasoning for Counterfactual Scene Imagination (CoSIm) 的新任务 / 数据集，该任务 / 数据集旨在评估 AI 系统推理场景变化想象的能力。这篇论文提供了 3.5K 个高质量且具有挑战性的数据实例，其中包含各种复杂的场景变化类型，并且提出了一种基于视觉语言 Transformer 的基线模型和消融研究。

    Jul, 2022

  • 大型本体的鲁棒对话状态跟踪

    本研究使用字符串匹配、面向对话的共识消解和其他方法来跟踪对话状态，可正确标识很多在话语中未显式提到但存在的信息，并在 DSTC 4 比赛中表现优异。

    May, 2016