ICCVJul, 2021

音视频领导者 - 追随者注意力融合的连续情感识别

PDF
TL;DR本文提出一种视听空间时域深度神经网络，其中包括预训练的二维 - CNN 和几个平行 TCNs，同时利用视听信息，通过跨验证来充分利用数据和缓解过度拟合，并使用交界面关注机制来强调视觉模态和利用嘈杂的听觉模态。在测试集中，本文的方法在 valence 和 arousal 方面通过了 CCC 测试，相较于其他方法有明显的准确度提升。
audio-visualspatial-temporalneural networktemporal convolutional networkinter-modality attention mechanism
发现论文，激发创造
  • 基于时空序列和关系学习的情感 - 激活估计的多模态融合方法

    通过视频和音频的预处理，提取视觉和音频特征，并利用时间卷积网络和 Transformer 编码器结构提高模型的性能和泛化能力，融合预训练的音频和视频模型进行特征提取，实现了较好的 VA 评估性能（简化中文摘要）。

    Mar, 2024

  • 高效音视关联的 Conformer 用于鲁棒语音识别

    本研究建议使用音频和视觉模态来改善基于 Efficient Conformer Connectionist Temporal Classification 架构的噪声鲁棒性，并在 LRS2 和 LRS3 数据集上进行了实验。结果表明，使用音频和视觉模态可以更好地识别存在环境噪声的语音，并显着加速训练，达到了 2.3％和 1.8％的字错误率。

    Jan, 2023

  • 用户生成视频情感识别的端到端视听注意力网络

    本研究提出了一种基于卷积神经网络的深层视听关注网络（VAANet）来进行用户生成视频中的情感识别，其结果在两个不易的视频情绪识别数据集上均优于现有的方法。

    Feb, 2020

  • SUN 团队在 ABAW 2024 竞赛中的贡献：音频视觉的情感倾向与表达识别

    通过调查音频和视觉深度学习方法，为非控制环境中的情绪识别问题提供有效的体系结构。使用基于微调的卷积神经网络（CNN）和公共维度情绪模型（PDEM）进行视频和音频模态的比较，并使用这些多阶段训练的模态特定的深度神经网络（DNN）的嵌入来比较替代的时间建模和融合策略。在 ABAW'24 挑战协议下，对 AffWild2 数据集进行了结果报告。

    Mar, 2024

  • 基于混合 CTC / 注意力架构的音视频语音识别

    本文介绍了一种基于 CTC/attention 混合架构的音频和视频的语音识别模型，并在 LRS2 数据库上表明这种模型识别率比仅音频模型提高了 1.3 个百分点，并且在噪声环境下表现出色， 是当前状态下最新的结果。

    Sep, 2018

  • 基于注意力机制的多模态情感识别融合

    本论文提出了一种基于深度学习的方法，结合了文本和音频数据进行情绪分类，使用 SincNet 层提取音频特征，同时使用双向 RNN 和深度卷积神经网络提取文本特征，通过交叉注意力机制融合两种特征，在 IEMOCAP 数据集上取得了比现有方法更好的性能。

    Sep, 2020

  • 自监督视听表示学习的协同关注网络

    本文提出了一种基于自我监督和共注意力机制的框架，通过区分具有关联性的视觉和声音信息，提出了三种不同的共注意力模块以训练神经网络，并通过测试了解了该方法的广泛和可转移性，成功地在先前的任务中取得了最先进的结果，解决了多声源场景的问题。

    Aug, 2020

  • 基于 3D 卷积神经网络的跨模态音视频匹配识别

    本文提出了一种利用耦合三维卷积神经网络架构来映射音频和视频流到统一表示空间，从而有效地找到不同模态之间时间信息的关联性的 AVR 方法，并且相对于现有的采用 3D CNN 特征表示的视听匹配方法，使用较小的网络架构和数据集进行训练，我们的方法显著提高了性能，相比于最先进的方法 Equal Error Rate（EER）的相对改进超过 20% ，而平均准确度（AP）的相对改进超过 7%。

    Jun, 2017

  • 基于回归的情感识别中的音视频融合中的递归联合注意力

    本文提出了一种递归联合注意模型，结合长短期记忆模块，用于融合语音和面部表情进行基于回归的情感识别，结果表明该模型比现有技术表现更好。

    Apr, 2023

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018