AAAIFeb, 2020

针对基于模式引导的零样本对话状态跟踪进行 BERT 微调

PDF
TL;DR本文提出了一种基于预训练语言模型 BERT 微调的无监督对话状态跟踪系统 (SGP-DST)，它包括意图预测、关键词填充、槽传递预测和用户状态总结 4 个模块，是目前在第八届对话系统技术挑战赛中排名第三的解决方案。
dialogue state trackingzero-shot learningpretrained language modelsbert fine-tuningvirtual assistants
发现论文，激发创造
  • 基于 Multi-Task BERT 模型的 Schema-Guided 对话状态跟踪

    文章提出了一种基于多任务 BERT 模型的对话状态跟踪器，可以同时解决意图预测、请求插槽预测和插槽填充等三个 DST 任务，并采用高效和简洁的对话历史和服务架构编码来提高性能。通过对 SGD 数据集进行的评估，结果表明该方法在计算效率明显提高的同时，大幅度超越了基线 SGP-DST，并且性能表现接近于最先进的模型。

    Jul, 2022

  • 基于 BERT 的快速而健壮的基于模式引导的对话数据集跟踪器

    本文介绍了一种基于 BERT 的快速和强健的模型 FastSGT 用于在目标导向对话系统中跟踪对话状态，在实验中，FastSGT 在保持计算和内存消耗效率的同时，显着提高了准确性，并通过数据增强显示了提高准确性的有效性。

    Aug, 2020

  • 基于模式的对话状态追踪挑战赛的 SPPD 系统

    本文提出了一种基于 BERT 的零 - shot 自然语言理解模型，用于实现多领域会话状态跟踪，实验结果显示该模型较基线系统具有显著改进。

    Jun, 2020

  • DSTC8 中的基于模式引导的对话状态跟踪任务

    本文介绍了第 8 届对话系统技术挑战赛的 Schema-Guided 对话状态跟踪任务，其目标是开发适用于大型虚拟助手的对话状态跟踪模型，重点是跨域的数据高效联合建模和新 API 的零 - shot 推广。本任务提供了一个包含 16 个领域超过 16000 个对话的数据集，其中包括一个能够零 - shot 推广到新 API 的基线模型。本文介绍了任务定义、数据集和评估方法，并概述了提交系统的方法和结果，以突出现今最先进技术的总体趋势。

    Feb, 2020

  • 目标导向的多任务 BERT 对话状态跟踪器

    本文提出了一种基于 BERT 模型的 GOaL-Oriented 多任务对话状态跟踪器（GOLOMB），该模型通过查询对话历史记录中的槽口和服务的描述以及可能的槽口值来传输多域对话中的槽口值，并具有扩展到未见过的槽口类型的能力。我们的模型在 SGD 数据集上取得了 53.97％的联合目标准确率，优于基线模型。

    Feb, 2020

  • 零 - shot 对话状态跟踪的 ChatGPT：解决方案还是机会？

    我们使用 ChatGPT ，一个通用语言模型，展示了它在零 - shot DST 上达到的最先进的表现，并证明了通用模型在专业系统替代方面的能力受到其属性的限制，但我们认为通用模型的语境学习能力很可能成为支持专门的动态对话状态跟踪器开发的有力工具。

    Jun, 2023

  • 通过生成式问答实现对话状态跟踪中的零 - shot 泛化

    研究了一种基于生成型问答和条件语言模型的不需要本体的 Dialog State Tracking 方法，具有较好的领域迁移效果。

    Jan, 2021

  • 一种具备机器阅读理解和 Wide&Deep 分类的端到端对话状态追踪系统

    本文介绍了 DSTC 8 轨道 4：基于模式的对话状态跟踪的方法以及测试结果。我们提出了一种端到端的 DST 系统，该系统包括针对非分类插槽的 MRC 模型和对于分类插槽的 Wide & Deep 模型。通过实验，证明我们的方法在测试数据集中得到了优异的性能。

    Dec, 2019

  • 零样本对话状态跟踪的复杂更新策略的大型语言模型语义解析

    通过语义解析将原始对话文本转换为 JSON，使用大型语言模型和更多模块来实现更新策略，提出一种新的上下文学习方法 ParsingDST，通过引入复杂的更新策略改进了零样本对话状态跟踪 (DST)，在 MultiWOZ 数据集上优于现有的方法，对比现有的上下文学习方法在联合目标准确性和槽准确性方面有显著的改进。

    Oct, 2023

  • BERT-DST: 基于双向变换器编码器表示的可扩展端到端对话状态跟踪

    本研究提出了 BERT-DST，一种基于 BERT 的端到端的对话状态跟踪器，它可以从对话上下文中直接提取槽值，并采用所有槽的编码参数共享的方法，实现了可扩展的对话状态跟踪。实证评估表明，BERT-DST 在可扩展的数据集 Sim-M 和 Sim-R 上优于之前的方法，在标准数据集 DSTC2 和 WOZ 2.0 上取得了具有竞争力的性能。

    Jul, 2019