CVPRMar, 2022

MDAN：面向视觉情感分析的多层依赖注意力网络

PDF
TL;DR本文提出了一个名为 “多层依赖注意力网络”（MDAN）的深度学习框架，通过融合全局学习和局部学习优化网络，采用底层朴素贝叶斯分类器、自底而上的分类器和自顶而下的情感语义映射分类器来消除视觉线索和图片表达情感之间的 “情感差距”，同时设计两种注意力模块以恰当地提取和利用通道相关性和空间注意力，相比现有技术在 6 个视觉情感分析基准上取得了新的最优性能。
visual emotion analysismulti-level dependent attention networkaffective gapemotion hierarchyattention modules
发现论文，激发创造
  • 用户生成视频情感识别的端到端视听注意力网络

    本研究提出了一种基于卷积神经网络的深层视听关注网络（VAANet）来进行用户生成视频中的情感识别，其结果在两个不易的视频情绪识别数据集上均优于现有的方法。

    Feb, 2020

  • 多粒度模态注意力网络用于密集情感理解

    本研究提出了一种多粒度网络模型，结合模态注意力和 MOE 分类器，旨在实现视频情感理解和表情预测，在 EEV 挑战中取得 0.02292 的相关分数。

    Jun, 2021

  • 用于图像情绪预测的多分支网络

    利用多种信息源，包括面部、身体和场景背景，预测图像中的离散和连续情绪，实验结果表明该方法在情绪预测方面明显优于现有方法，突显了在情感预测中利用多种上下文信息的重要性，并展示了该方法在有效计算、人机交互和社会机器人等广泛应用领域的潜力。

    Dec, 2023

  • 利用文本、音频和视频的多级注意力网络进行抑郁症预测

    本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。

    Sep, 2019

  • 基于多标签联合解码的层次音视频信息融合在 MER 2023 上的应用

    我们提出了一个用于识别离散和维度情感的新框架，通过从基础模型中提取的深度特征作为原始视频的鲁棒声学和视觉表示，设计了三种基于注意力引导特征汇集的不同结构用于深度特征融合，并在解码阶段引入了联合解码结构用于情感分类和价值回归。我们还设计了基于不确定性的多任务损失来优化整个过程。最后，通过在后验概率级别上结合三种不同的结构，我们获得了离散和维度情感的最终预测。当在多模态情感识别挑战数据集（MER 2023）上进行测试时，该提出的框架在情感分类和价值回归方面都取得了一致的改进。我们的最终系统达到了最新的性能并在 MER-MULTI 子挑战中排名第三。

    Sep, 2023

  • 从多任务角度理解情感维度在推特情感检测中的作用

    提出了一种多任务框架 VADEC，用于更好地进行情感分析，其中包括多标签情感分类和多维情感回归，并通过协同训练利用任务之间的相互关系，其性能超过了最强基线，尤其是在情感分类任务方面，为 AIT 数据集中的 Jaccard Accuracy、Macro-F1 和 Micro-F1 得分分别带来了 3.4%、11% 和 3.9% 的提高，在 SenWave 数据集上表现出了 11.3% 的平均增益。当在 SenWave 数据集上训练时，VADEC 对于 Valence（V）和 Dominance（D）情感维度在 EMOBANK 数据集上实现了 7.6% 和 16.5% 的皮尔逊相关系数增益，最后在印度发布的 COVID-19 tweet 的案例研究中证明了该框架的有效性。

    May, 2021

  • 一种多任务学习与生成框架：情感价值 - 唤起度、动作单位和基本表情

    本论文针对情感分析的各个领域进行了研究，提出了基于神经网络的多任务学习方法，该方法有效地应用于 Aff-Wild 情感数据库的新注释部分并实现了良好的性能。

    Nov, 2018

  • 基于人脑多视角多标签细粒度情感解码

    本文提出了一种用于通过大脑活动数据进行情绪识别的新型多视图、多标签的混合模型，可以同时学习表达性的神经表示并多元预测情绪状态，通过实验表明该方法具有较高的识别准确率。

    Oct, 2022

  • 深度神经网络增强：生成面孔进行情感分析

    本文提出了一种新的方法，用于合成面部情感，接受中性 2D 人脸图像、基本面部表情或 VA 头像建议，以及 2D VA 空间中的路径作为输入，采用 3D 可变模型，对中性人脸图像进行形变和添加颜色，使生成的面孔带有特定情感，用于数据增强和深度神经网络的联调。

    Nov, 2018

  • 基于多视角注意力网络的视觉对话

    论文旨在通过提出 Multi-View Attention Network (MVAN) 模型来解决视觉对话任务中的挑战性问题，该模型基于注意机制，利用多个视角来处理异构输入，并且通过序列对齐过程构建多模态表示，从而可以更好地捕捉到对话历史中与问题相关的信息，并在 VisDial v1.0 数据集上达到了最佳结果。

    Apr, 2020