ACLApr, 2024

多模态环境下对话中断检测

PDF
TL;DR实时检测对话中的中断对于会话型人工智能系统至关重要，因为它能采取纠正措施以成功完成任务。本文介绍了一种多模态上下文对话中断模型（MultConDB），该模型通过在实时转录文本上进行音频输入处理和下游自然语言处理模型推理来精确检测对话中断，并获得了 69.27 的 F1 分数，显著优于其他已知最佳模型。
dialogue breakdownconversational aireal timemultimodal contextual dialogue breakdownf1
发现论文，激发创造
  • 基于双教师半监督学习的对话中故障识别方法改进

    通过半监督的师生学习框架，基于有标注和扰动标注的两个教师对有标注数据和无标注数据进行更好的分类，可以有效提高沟通效果，且在实验中表现优于现有方法。

    Feb, 2022

  • 对话系统中面向领域通用口语断续检测的多任务学习

    本文提出一种多任务基于 LSTM 的模型，用于增量检测口吃结构，可以连接到任何组件以进行增量解释，或者在产生当前话语时用于 “清理” 当前话语。我们在 Switchboard 对话行为语料库上训练了该系统，并展示了其在该数据集上的准确性。我们的模型在 SWDA 上比以前的神经网络基于增量的方法表现优异，同时采用较简单的架构。为了测试模型的泛化潜力，我们在没有任何附加训练的情况下，在 bAbI + 数据集上评估了相同的模型。这表明我们的方法具有很好的泛化潜力，并更加详细地阐明了哪些类型的口吃可能适合于领域通用处理。

    Oct, 2018

  • 对话建模预测出轨

    提出一种基于分层 Transformer 的框架，结合话语级别和对话级别信息捕捉精细的上下文语义，同时考虑话语结构信息和距离变形的多任务学习方案，以实现对网络对话中马车出轨的预测。

    Mar, 2023

  • 对话系统的上下文主题建模

    本文提出了一种上下文感知的谈话主题分类方法，通过引入对话上下文和对话行为特征，扩展了神经主题分类和无监督主题关键词检测的先前研究，以提高谈话中的主题识别准确性和预测用户评价指标。

    Oct, 2018

  • 直白真实对话：面对面交流的口语对话模型

    本研究介绍了一种新颖的面对面口语对话模型，利用用户输入的音频 - 视觉语音并生成回应的音频 - 视觉语音，旨在创建一种不依赖中间文本的化身聊天机器人系统，并引入 MultiDialog，这是第一个包含约 340 小时近 9000 个对话的大规模多模态（音频和视觉）口语对话语料库。

    Jun, 2024

  • 一个砖头足够打破口语对话状态跟踪的墙吗？

    通过比较三种方法，即级联方法、局部端到端方法和完全神经方法，本研究对完全神经对话状态跟踪进行了探索，并发现级联方法仍然是最准确的方法。然而，局部端到端方法和完全神经方法在对话演化中传播上下文时存在问题，显示出完全神经方法中的上下文传播是一个具有挑战性的问题。

    Nov, 2023

  • 对话情感检测的动态因果解缠模型

    我们提出了一种基于隐藏变量分离的动态因果解缠模型，通过分解对话内容并研究情绪的时间性积累，从而实现更精确的情绪识别。我们在两个常用的对话情绪检测数据集上验证了该模型的优越性。

    Sep, 2023

  • 适应口语对话的基于文本的对话状态追踪器

    本文描述了我们在 DSTC11 中参与的具有极大成功的模型的工程努力，该模型由三个主要模块组成：(1) 自动语音识别误差校正，(2) 基于文本的对话系统用于估计插槽和值，(3) 后处理用于恢复估计的插槽值的错误。我们的实验证明了对于口语对话语料库，使用明确的自动语音识别误差校正模块、后处理和数据增强对于调整基于文本的对话状态跟踪器至关重要。

    Aug, 2023

  • 基于主题感知的多回合对话理解

    该研究提出了一种从主题感知的角度对多轮对话进行建模，使用对话切分算法将对话段落无监督地拆分为主题集中的片段，并将这些片段作为主题感知的语言处理单元用于进一步的对话理解。通过在聚类系统中设计自训练自编码器，并构建两个构造的数据集进行评估，我们展示了拆分段落在域内主题检测和定位方面的便利性。同时，拆分段落也是多轮对话响应选择的适当元素，为此，我们提出了 Topic-Aware Dual-Attention Matching (TADAM) 网络模型，它以主题片段作为处理元素，并使用双交叉注意力匹配响应候选项。通过对三个公共基准测试的实证研究，我们发现相对于基准，该模型取得了显著的改进。该研究延续了先前的文档主题研究，并通过详尽的实验和分析将对话建模引入了新的主题感知视角。

    Sep, 2023

  • 上下文感知的端到端语音识别

    本研究提出了一种对话上下文感知的语音识别模型，该模型可以在端到端的方式下明确地使用除句子级别信息以外的上下文信息，以使整个系统能够被训练得更好并表现得更优秀。我们在 Switchboard 交谈语音语料库上评估了我们的方法并显示出优于可比较的句子级端到端语音识别系统的效果。

    Aug, 2018