Jun, 2024

检测法国电视和广播节目中口语互动中话语转换边界的方法

PDF
TL;DR在自发交谈中，转换相关区域被定义为话语末尾，互动者可以在不打断当前说话者的情况下接过话语的地方，研究话语末尾性对于探索转换控制的动态非常有用。本文提出了一种自动分类多说话者环境中所述话语为终结式或非终结式的方法。我们在一个法语语料库的广播电视片段中比较了音频、文本和两者的融合方法，并使用预训练的自监督表示进行模型训练。我们对不同的融合策略和不同的上下文大小进行了实验，同时也通过分析多次随机初始化的训练结果的差异来探讨性能变异的问题。我们测得的准确度使得这些模型可以用于大规模转换控制分析。
发现论文，激发创造
  • 说话的权利：一种音视频变换器方法

    本文介绍了一种新的音视频转换器方法，在自注意构造中利用不同类型的音视频相关性来预测和优化时空中的时序音视频关系以实现多人会话视频中主要发言者的本地化和突出显示，同时引入了新收集的数据集。

    Aug, 2021

  • 通过将检测演讲者意图作为次要任务来改善口语对话中的转折点检测

    本文介绍了使用声学线索模型来理解对话者交替的研究，提出了一种多任务神经方法，同时预测转换转变和发言者意图，实验结果表明，使用发言者意图预测的辅助任务可以提高对话中转换转变的预测性能。

    May, 2018

  • 响应条件的交替预测

    本文提出一种模型，该模型将对话历史和下一个讲话者想要说的内容作为条件来预测对话的结束，比基线模型在各种指标上的表现更好。该模型可作为一个增量响应排名器，在各种场景中得到应用。

    May, 2023

  • 自然对话语言的交替预测

    本论文提出了一个基于端对端语音识别器的取向预测器，通过检测用户何时停顿思考或讲完话来联合优化 ASR 任务和取向预测任务，以更好地建模对话交互。测试集表明，该方法在识别包含四类语言障碍的会话句子时，具有 97% 以上的准确率和 100 毫秒的延迟。

    Aug, 2022

  • 利用对比学习进行带门限的多模态融合，以预测人机对话中的轮流发言

    本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，比几种最先进的基准方法更为竞争力。

    Apr, 2022

  • TurnGPT：基于 Transformer 的口语对话转换预测语言模型

    本文介绍了 TurnGPT 语言模型，其通过使用对话的语境和完整性，能够更好地预测口语对话中的转向。我们展示了该模型在多种书面和口头对话数据集上的表现，并证明其胜过之前工作中使用的两个基线模型。此外，我们还研究了模型的各种特性，如注意力和梯度分析，最终认为该模型不仅能够检测转向，而且能够预测完结。

    Oct, 2020

  • NaturalTurn：将转录本分割为自然的对话片段的一种方法

    论文介绍了一种名为 “NaturalTurn” 的对话分割算法，可将语音到文本转录本划分为对话转折点，从而更好地理解社交互动的基本构建模块。这一算法通过区分说话者的主要对话转折点和听者的次要话语，如背景话语、简短插话和其他特征对话的平行言论，来准确捕捉自然交流的动态。通过使用大量对话语料库的数据，研究者展示了通过 “NaturalTurn” 得到的转录本相较于现有方法的转录本具有更好的统计特性和推理特性。该算法代表着机器生成转录本处理方法或者所谓的 “转换模型” 的改进，将使研究人员能够将转换过程中的动态与社交互动的更广泛结果相关联，这是对话科学的一个核心目标。

    Mar, 2024

  • 端到端单通道说话者转换感知的会话语音翻译

    本研究致力于解决单声道多说话者对话转写和翻译问题，提出了一种名为 Speaker-Turn Aware Conversational Speech Translation 的端到端多任务训练模型，通过在序列化标注格式中使用特殊标记来结合自动语音识别、语音翻译和说话者转换检测。在针对多说话者条件的实验中，我们使用合并了两个单声道通道的 Fisher-CALLHOME 语料库，以更真实和具有挑战性的场景来评估模型性能，实验结果表明我们的模型在多说话者条件下优于传统说话者转写系统，并且在单说话者条件下表现相当。同时，我们还提供了数据处理和模型训练的脚本。

    Nov, 2023

  • OTTers：针对开放领域对话的一轮主题转换

    本研究旨在探索开放域对话中 “一轮话题转换任务” 的实现方式，收集人类完成该任务的数据，在此基础上，通过应用现有的文本生成模型，评估它们在这个任务上的表现效果。

    May, 2021

  • 分离 - 转换 - 分段器：多方语音的流式识别和分割

    提出了一种基于神经网络的新方法 ——STS，包括一种新的分割建模策略和一种新的发射规则方法 FastEmit 等，用于多方会谈的流媒体识别和分割。

    May, 2022