May, 2018

通过将检测演讲者意图作为次要任务来改善口语对话中的转折点检测

PDF
TL;DR本文介绍了使用声学线索模型来理解对话者交替的研究，提出了一种多任务神经方法，同时预测转换转变和发言者意图，实验结果表明，使用发言者意图预测的辅助任务可以提高对话中转换转变的预测性能。
acoustic cuesturn-takingspoken dialoguesmulti-task neural approachspeaker intention prediction
发现论文，激发创造
  • 自然对话语言的交替预测

    本论文提出了一个基于端对端语音识别器的取向预测器，通过检测用户何时停顿思考或讲完话来联合优化 ASR 任务和取向预测任务，以更好地建模对话交互。测试集表明，该方法在识别包含四类语言障碍的会话句子时，具有 97% 以上的准确率和 100 毫秒的延迟。

    Aug, 2022

  • 利用对比学习进行带门限的多模态融合，以预测人机对话中的轮流发言

    本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，比几种最先进的基准方法更为竞争力。

    Apr, 2022

  • 语音和大型语言模型融合的交替对话和听众回应预测

    我们提出了一种通过将神经声学模型与大型语言模型（LLM）融合的方法，连续预测口语对话中的交替和回应位置。在 Switchboard 人人对话数据集上的实验证明，我们的方法始终优于单模态的基线模型。我们还开发了一种新颖的多任务指令微调策略，以进一步从 LLM 编码的知识中获益，以理解任务和对话语境，从而带来额外的改进。我们的方法展示了结合 LLM 和声学模型在人类和语音启用的 AI 代理之间实现更自然和对话式交互的潜力。

    Jan, 2024

  • 探索口语理解中有关说话人信息以改进说话人分离

    本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

    May, 2023

  • 说话的权利：一种音视频变换器方法

    本文介绍了一种新的音视频转换器方法，在自注意构造中利用不同类型的音视频相关性来预测和优化时空中的时序音视频关系以实现多人会话视频中主要发言者的本地化和突出显示，同时引入了新收集的数据集。

    Aug, 2021

  • 使用多尺度 RNN 进行多模态连续交替预测

    提出了一种多尺度 RNN 架构，用于在不同的时间尺度上模拟交谈中多个模态的特征，模拟语言和声音特征在不同的时间尺度上对于对话期间的特性建模是有益的，同时我们的方法还能够将凝视特征纳入到对话模型中。

    Aug, 2018

  • 使用辅助任务训练简单有效的多轮对话生成模型

    本研究探讨多轮开放域对话的响应生成，并通过辅助任务实现上下文理解，提高了生成模型的质量，同时具有更快的解码速度。

    Apr, 2020

  • 端到端单通道说话者转换感知的会话语音翻译

    本研究致力于解决单声道多说话者对话转写和翻译问题，提出了一种名为 Speaker-Turn Aware Conversational Speech Translation 的端到端多任务训练模型，通过在序列化标注格式中使用特殊标记来结合自动语音识别、语音翻译和说话者转换检测。在针对多说话者条件的实验中，我们使用合并了两个单声道通道的 Fisher-CALLHOME 语料库，以更真实和具有挑战性的场景来评估模型性能，实验结果表明我们的模型在多说话者条件下优于传统说话者转写系统，并且在单说话者条件下表现相当。同时，我们还提供了数据处理和模型训练的脚本。

    Nov, 2023

  • 交叉注意力端到端语音识别技术在双方对话中的应用

    本文提出一种利用端到端方法，基于对话流转信息学习两个不同说话者交互的语音识别模型。该模型采用讲话人特定的交叉注意机制来帮助识别长时间的对话，并在 Switchboard 对话语音库上进行了评估，表现出优异的性能。

    Jul, 2019

  • 人 - 人客户支持口语对话中的实时维度识别

    本论文提出一种基于双 LSTM 架构的研究，致力于人 - 人客户支持话语交互中在线实时识别来电者意图的问题，以提高用户体验，并在电信客户支持领域的数据集上进行了实验分析。

    Aug, 2022