评估基于任务的对话系统在口语交流中的鲁棒性：“你有多强大？

Sep, 2021

评估基于任务的对话系统在口语交流中的鲁棒性：“你有多强大？

"How Robust r u?": Evaluating Task-Oriented Dialogue Systems on Spoken Conversations

Seokhwan Kim, Yang Liu, Di Jin, Alexandros Papangelis, Karthik Gopalakrishnan...

TL;DR研究口语任务导向对话状态跟踪和基于知识的对话建模，提出使用已有数据集不足的问题，借助 n-best 语音识别假设，改善任务绩效，并说明现有模型在口语数据方面存在不足，研究结果呈现有利于基于语音的任务导向对话系统的基准测试数据集。

Abstract

Most prior work in dialogue modeling has been on written conversations mostly because of existing data sets. However, written dialogues are not sufficient to fully capture the nature of spoken conversations as we

dialogue modeling spoken conversations speech recognition multi-domain dialogue state tracking task-oriented dialogue systems

发现论文，激发创造

LLM 在口语对话中的稳健性研究

使用 LLM（Large Pre-Trained Language Models）评估了在口语任务导向对话中的性能，结果表明 LLMs 默认情况下对口头噪音不够鲁棒，但在正确的口头 TOD 数据集上进行微调 / 训练可以获得更强的性能。

Jan, 2024

面向口语对话的任务导向对话建模的通用模型

本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

Mar, 2022

面向任务型对话系统的最新进展和挑战

本文探讨了任务导向对话系统的最新研究进展和挑战，特别在三个关键领域进行了深入讨论：提高数据效率、模拟多回合动态以优化任务完成性能，以及将领域本体知识与对话模型集成。此外，还评估了最近的对话进展和一些常用的语料库。我们相信，这虽然不是一个完整的调查，但它仍然可以为未来任务导向对话系统的研究提供启示。

Mar, 2020

任务导向的对话数据集并非对话型的！

本文通过分类对话和上下文效果，分析 MultiWOZ，SGD 和 SMCalFlow 等最近和广泛使用的任务型对话数据集，发现少于 4％的 MultiWOZ 的句子和 10％的 SGD 的句子具有对话效果，而 SMCalFlow 在其当前版本中根本不具有对话效果。

Mar, 2022

面向任务对话的语言理解鲁棒性测试

本研究针对自然语言理解模型在实际对话系统的应用中容易出现的波动和变化问题，提出了一种模型无关的工具箱 LAUG，涵盖语言变体，语音特性和噪声扰动三个方面的四种数据增强方法，揭示了现有模型中的严重鲁棒性问题，提供了一种使用 LAUG 生成的增强数据集来促进语言理解测试鲁棒性的方法。

Dec, 2020

TOD-DA: 从口语会话中提高任务导向对话建模的鲁棒性

本文提出了一种新的任务定向对话数据增强方法 TOD-DA，它包括对话丰富和口语会话模拟器，可以增加大规模高质量带注释口语会话，以提高口语任务定向对话建模的鲁棒性。在 DSTC10 Track2 的两项任务中，我们的方法均排名第一，证明了 TOD-DA 的优越性和有效性。

Dec, 2021

语音感知对话系统技术挑战赛（DSTC11）

本文涉及针对与书面文本不同的口语输入而设计的任务型对话建模，以解决自动语音识别系统所引入的误差，并针对多轮对话建立了一个公共语料库，研究各种形式的语音输出的性能差距，并给出了初步分析。

Dec, 2022

适应口语对话的基于文本的对话状态追踪器

本文描述了我们在 DSTC11 中参与的具有极大成功的模型的工程努力，该模型由三个主要模块组成：(1) 自动语音识别误差校正，(2) 基于文本的对话系统用于估计插槽和值，(3) 后处理用于恢复估计的插槽值的错误。我们的实验证明了对于口语对话语料库，使用明确的自动语音识别误差校正模块、后处理和数据增强对于调整基于文本的对话状态跟踪器至关重要。

Aug, 2023

基于网络的端到端可训练任务导向式对话系统

本文介绍一种基于神经网络的端到端可训练的目标导向对话系统，以及一种新的数据收集方法，该方法基于一种新型的管道式 Wizard-of-Oz 框架。该方法可用于开发对话系统，帮助用户在餐厅搜索领域自然地交流并完成任务。

Apr, 2016

面向任务的对话与上下文学习

使用大型语言模型（LLMs）的上下文学习能力与业务逻辑的确定执行相结合，描述了一种构建面向任务的对话系统的系统。与主要用于行业的基于意图的 NLU 方法相比较，我们的实验表明，使用我们的系统开发聊天机器人所需的工作量明显较少，这些聊天机器人可以成功地进行复杂对话，并且我们的系统对于大规模任务导向的对话系统具有可扩展的有益特性。我们提供了我们的实现用于使用和进一步研究。

Feb, 2024