BEE-NET：识别野外身体表达情感的深度神经网络

Feb, 2024

BEE-NET：识别野外身体表达情感的深度神经网络

BEE-NET: A deep neural network to identify in-the-wild Bodily Expression of Emotions

Mohammad Mahdi Dehshibi, David Masip

TL;DR本研究探讨了环境因素，特别是场景和物体如何通过身体语言影响情绪表达。为此，我们引入了一种名为 BEE-NET 的新型多流深度卷积神经网络，并提出了一种新的后期融合策略，在学习过程中将场所和物体的元信息作为先验知识纳入考虑。实验结果表明，我们的深度模型在情感识别领域取得了显著的突破，超过了当前最先进的技术，情绪识别得分达到了 66.33%。

Abstract

In this study, we investigate how environmental factors, specifically the scenes and objects involved, can affect the expression of emotions through body language. To this end, we introduce a novel multi-stream deep convolutional neural network named BEE-NET. We also propose a new

environmental factors body language deep convolutional neural network late fusion strategy emotional recognition

发现论文，激发创造

ARBEE: 自动识别野外身体表情情绪的探索

本研究提出了一种可扩展可靠的众包方法，用于收集自然状态下的人类身体语言数据，建立了一个大型数据集并通过统计分析揭示了许多有趣的想法。通过使用 Laban Movement Analysis 等特征，我们开发并评估了一个名为 ARBEE 的系统，该系统能够基于身体动作识别情感表达。

Aug, 2018

通过身体、环境和视觉 - 语义嵌入损失在视频中理解情感

本文介绍了我们在第一届身体表现情感理解（BEEU）挑战赛中的获奖作品。我们基于情绪环境的影响和使用词嵌入的语义视觉表示的最新文献，扩展了时间段网络的框架来适应这些要求。验证了我们的方法在 “Body Language Dataset”（BoLD）的验证集上，并在测试集上实现了 0.26235 的情绪识别准确率，超过了以前最佳结果 0.2530。

Oct, 2020

情感归属、分类和摘要的多任务神经方法

本论文提出了一种新的神经方法，称为 Bi-stream 情感归属 - 分类网络（BEAC-Net），来解决用户生成视频中情感分析的问题，实现情感识别，情感归属和情感导向的摘要的相关任务。BEAC-Net 有两个主要构成部分：归属网络和分类网络。归属网络提取分类应该关注的主要情感段，以减轻稀疏问题。而分类网络在双流体系结构中利用提取的段和原始视频。作者贡献了一个新的数据集用于情感归属任务。在两个视频数据集上的实验表明，所提出的框架的性能优越，并发挥双重分类流的互补性质。

Dec, 2018

使用身体语言数据集的嘈杂学生训练改善面部表情识别

使用自训练方法结合已标记和未标记数据集进行人脸表情识别，采用多级关注机制对人脸不同区域进行独立处理，实现了最新技术的性能表现。

Aug, 2020

运用深度神经网络和贝叶斯分类器进行野外情感识别

本文提出了一种基于深度神经网络和贝叶斯分类器的新型解决方案，其中神经网络分析单个面孔表情，贝叶斯分类器通过场景描述符估计全局情感。在 Emotion Recognition in the Wild Challenge 2017 数据集上测试，该方法在测试集上的准确率为 64.68％，显著优于竞争基线 53.62％。

Sep, 2017

社交互动中的身体行为：新的注释和最新评估

本文介绍了 BBSI 的方法和结果，BBSI 是对连续社交互动中复杂身体行为的第一个注释集，其包含了 15 个不同的身体语言类别，并采用四个空间 - 时间特征变体作为 PDAN 的输入来自动检测这些行为，结果表明这是一个困难的任务，但有很大改进的空间。

Jul, 2022

一张网络里的表情、情感和动作单元：面部行为随心定制

该论文介绍了 FaceBehaviorNet 这个多任务深度学习框架，并利用 5M 张公共数据集，成功地将自然环境中的人脸行为分析的三个识别任务（特征表情识别、连续情感估计和面部动作单元检测）结合了起来，同时提出了两种有效的联合学习策略，对大量无标注数据的少样本学习场景也具有良好的泛化能力。

Oct, 2019

第六届 ABAW 比赛中的 HSEmotion 团队：面部表情、情绪价值 - 唤醒度和情绪强度预测

本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性，并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明，与现有的非集成技术相比，我们的方法显著提高了验证集上的质量指标。

Mar, 2024

用于图像情绪预测的多分支网络

利用多种信息源，包括面部、身体和场景背景，预测图像中的离散和连续情绪，实验结果表明该方法在情绪预测方面明显优于现有方法，突显了在情感预测中利用多种上下文信息的重要性，并展示了该方法在有效计算、人机交互和社会机器人等广泛应用领域的潜力。

Dec, 2023

一种基于深度学习的人体动作单张图像解析模型

本文主要研究如何通过使用深度置信网络方法来融合人体布局和周围信息从静态图像中理解人体行为，并使用手动标记的数据来改善网络的训练和微调阶段的效率。结果表明该方法具有较好的鲁棒性和优异的性能。

Feb, 2015