Mar, 2024

情感行为分析中的多模态融合与预训练模型特征研究

PDF
TL;DR本文介绍了一种利用多模态融合和预训练模型特征相结合的方法，用于处理表情识别和情绪评估任务，通过对预训练模型提取特征并进行预处理、插值或卷积等操作，并应用不同模型进行多模态融合，达到在多模态任务中出色性能的目的。
发现论文，激发创造
  • 基于 Transformer 的多模态信息融合用于面部表情分析

    本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

    Mar, 2022

  • 基于时空序列和关系学习的情感 - 激活估计的多模态融合方法

    通过视频和音频的预处理，提取视觉和音频特征，并利用时间卷积网络和 Transformer 编码器结构提高模型的性能和泛化能力，融合预训练的音频和视频模型进行特征提取，实现了较好的 VA 评估性能（简化中文摘要）。

    Mar, 2024

  • 视频中多模态特征提取和基于注意力的融合情绪估计

    本文介绍了一个基于多模态的情感估计框架，通过提取比赛数据集中的不同长度的视频的多模态特征，包括音频、姿态和图像，确定情感趋势。该系统在验证数据集中达到 0.361 的性能。

    Mar, 2023

  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024

  • 基于 Wav2vec 2.0 和 BERT 的多模态情感识别的多级融合

    该研究探讨了多模态情感识别问题，提出了使用迁移学习的方法，结合各种预训练模型和多级融合方法，以及多粒度特征提取的框架，从而在 IEMOCAP 数据集上取得了比最佳基线法高 1.3％的性能表现。

    Jul, 2022

  • 利用辅助任务在 Wav2vec 2.0 和 BERT 的多模态融合中进行多模态情感识别

    这篇研究通过在两种模态数据上使用预训练模型进行微调，使用 K 层多头注意机制进行下游融合，设计两种辅助任务以提高情感识别的表现，相比其他最先进的模型在 IEMOCAP 数据集上实现了更好的性能。

    Feb, 2023

  • 一种多模态和多任务学习方法，用于动作单元和表情识别

    本文提出一种利用视觉和音频信息的多模态和多任务学习方法来分析人类情感，使用 AU 和表情标注训练模型并应用序列模型提取视频帧之间的关联，实现了 0.712 的 AU 分数和 0.477 的表情分数，证明了该方法在提高模型性能方面的有效性。

    Jul, 2021

  • 基于 Transformer 的视频情感反应强度估计和表达分类的多模态特征提取与融合

    本文论述了针对 ABAW2023 中的情感行为分析领域的两个子挑战 - 表情分类和情感反应强度评估的高级解决方案。该方案使用了多种模型和工具来提取多模态特征，并有效地处理分类中的挑战，从而显著提高了模型在多模态情况下的情感预测精度。在情感反应强度评估方面，我们的方法超过了基线方法 84％，并在验证数据集上取得了出色的结果。

    Mar, 2023

  • 野外视频情感分类的时间多模态融合

    本文通过使用卷积神经网络改进面部描述符，并探索多种融合方法，建立并优化 CNN 架构，解决情感分类问题，获得了 2017 年 “Emotion in the Wild” 挑战赛第四名的准确性，达到了 58.8％。

    Sep, 2017

  • 基于多任务学习的多情感描述符合集模型

    本文介绍我们在第四届野外情感行为分析竞赛中提交的方法，将提供的面部和面部周围背景的完整信息用于多任务学习挑战，使用 InceptionNet V3 模型提取深度特征，从而得出对情绪的分类和评估

    Jul, 2022