Oct, 2023

3M-TRANSFORMER：用于体现式交替预测的多级多轮多模态 Transformer

PDF
TL;DR使用基于 Transformer 的新型多模态架构来预测具有多视角的、同步的交互数据中的轮替情况，在已引入的 EgoCom 数据集上进行实验，与现有的基线和替代基于 Transformer 的方法相比，平均性能显著提升了最高达 14.01%。
turn-takingmultiparty conversationshuman-computer interactionegocentric datatransformer-based architecture
发现论文，激发创造
  • 利用对比学习进行带门限的多模态融合，以预测人机对话中的轮流发言

    本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，比几种最先进的基准方法更为竞争力。

    Apr, 2022

  • Multipar-T: 基于 Transformer 的多方对话捕捉待定行为

    为了解决 AI 系统中多方 (群) 对话的问题，我们提出了一种名为 Multipar-T 的变压器模型，其中的 Crossperson Attention 组件能够检测成对人之间的感应行为，该模型在公共视频小组交互检测基准测试中优于现有技术，并能够以 10.0% 的 F-1 分数提高个人分类 F-1 分数。

    Apr, 2023

  • 使用多尺度 RNN 进行多模态连续交替预测

    提出了一种多尺度 RNN 架构，用于在不同的时间尺度上模拟交谈中多个模态的特征，模拟语言和声音特征在不同的时间尺度上对于对话期间的特性建模是有益的，同时我们的方法还能够将凝视特征纳入到对话模型中。

    Aug, 2018

  • 端到端单通道说话者转换感知的会话语音翻译

    本研究致力于解决单声道多说话者对话转写和翻译问题，提出了一种名为 Speaker-Turn Aware Conversational Speech Translation 的端到端多任务训练模型，通过在序列化标注格式中使用特殊标记来结合自动语音识别、语音翻译和说话者转换检测。在针对多说话者条件的实验中，我们使用合并了两个单声道通道的 Fisher-CALLHOME 语料库，以更真实和具有挑战性的场景来评估模型性能，实验结果表明我们的模型在多说话者条件下优于传统说话者转写系统，并且在单说话者条件下表现相当。同时，我们还提供了数据处理和模型训练的脚本。

    Nov, 2023

  • 分离 - 转换 - 分段器：多方语音的流式识别和分割

    提出了一种基于神经网络的新方法 ——STS，包括一种新的分割建模策略和一种新的发射规则方法 FastEmit 等，用于多方会谈的流媒体识别和分割。

    May, 2022

  • EmpTransfo：一种用于创建共情对话系统的多头 Transformer 体系结构

    本文介绍了一个使用多头 Transformer 结构的 EmpTransfo 模型，可以基于先前情感和元数据来生成具有情感的对话。我们的实验结果表明，EmpTransfo 模型在 Hit@1 和 PPL（困惑度）方面的表现優于其他模型。

    Mar, 2020

  • TurnGPT：基于 Transformer 的口语对话转换预测语言模型

    本文介绍了 TurnGPT 语言模型，其通过使用对话的语境和完整性，能够更好地预测口语对话中的转向。我们展示了该模型在多种书面和口头对话数据集上的表现，并证明其胜过之前工作中使用的两个基线模型。此外，我们还研究了模型的各种特性，如注意力和梯度分析，最终认为该模型不仅能够检测转向，而且能够预测完结。

    Oct, 2020

  • 自然对话语言的交替预测

    本论文提出了一个基于端对端语音识别器的取向预测器，通过检测用户何时停顿思考或讲完话来联合优化 ASR 任务和取向预测任务，以更好地建模对话交互。测试集表明，该方法在识别包含四类语言障碍的会话句子时，具有 97% 以上的准确率和 100 毫秒的延迟。

    Aug, 2022

  • 多人对话中人类行为分析的数据增强

    我们的研究团队 HFUT-VUT 在 ACM Multimedia 2023 的 MultiMediate Grand Challenge 2023 中的解决方案覆盖了三个子挑战：身体行为识别，眼神接触检测和下一个发言者的预测。我们选择 Swin Transformer 作为基线，并利用数据增广策略来解决上述三个任务。具体来说，我们裁剪原始视频以去除其他部分的噪声。同时，我们利用数据增广来提高模型的泛化能力。结果，我们的解决方案在平均精度均值方面对身体行为识别取得了最佳结果 0.6262，并在相应的测试集上的眼神接触检测精确度方面获得了 0.7771 的准确率。此外，我们的方法在下一个发言者的预测方面也实现了 0.5281 的不加权平均召回率的可比较结果。

    Aug, 2023

  • 使用深度话语聚合建模多轮对话

    本文研究基于信息检索的跨度多轮对话系统以往语句的上下文建模的问题，提出将以前的话语通过一种深度聚合模型聚合成细粒度的上下文进行表示。实验结果表明，与现有的最先进的方法相比，该模型在三个多回合对话基准测试中表现更优秀。

    Jun, 2018