本研究探讨了环境因素，特别是场景和物体如何通过身体语言影响情绪表达。为此，我们引入了一种名为 BEE-NET 的新型多流深度卷积神经网络，并提出了一种新的后期融合策略，在学习过程中将场所和物体的元信息作为先验知识纳入考虑。实验结果表明，我们的深度模型在情感识别领域取得了显著的突破，超过了当前最先进的技术，情绪识别得分达到了 66.33%。

Feb, 2024

在这篇研究论文中，我们使用最近的大型视觉语言模型来探讨两种主要方法：图像字幕生成与仅使用语言的 LLM，以及零样本和微调设置下的视觉语言模型。我们在 Emotions in Context（EMOTIC）数据集上评估这些方法，并展示出即使在小型数据集上进行微调，视觉语言模型的性能也能显著超过传统的基准方法。我们的研究结果旨在帮助未来的机器人和智能系统对情感进行敏感的决策和交互行为。

May, 2024

本论文提出了一个名为 “视频中的时间情感定位” 的新任务，其旨在检测人类情感并定位其对应的时间边界。当前的工作仅限于裁剪的视频级情感分类，未能定位对应于情感的时间窗口。作者提出了一种新型的扩张上下文集成网络，具有粗细两个流架构，以及跨模态共识学习范例，通过对齐的字幕来获取弱监督学习。经过广泛实验，表明了其方法在情感定位方面的有效性。

Aug, 2022

该研究使用预训练的 ELMo 层对句子中的词语进行编码，再结合双向 LSTM 以及最大池化操作来对情感进行分析，最终采用 6 个不同随机种子初始化的模型在隐式情感共享任务中获得了第二高的 F1 分数。

Aug, 2018

我们的系统 VISU 参与了 WASSA 2023 共享任务（3），对以新闻文章为反应的论文进行情感分类。通过深度学习模型使用单词嵌入表示与定制的预处理策略相结合，我们专注于捕捉情感表达的细微差异。我们的实验使用静态和上下文嵌入（个体和堆叠）与双向长短时记忆（BiLSTM）和变换器模型。在情感检测任务中，我们以 0.2717 的宏 F1 得分排名第十，验证了我们实现的方法在小型和不平衡的混合目标情感数据集上的有效性。

Jul, 2023

利用视觉和大规模语言模型（VLLMs）的开创性能力，我们提出了一种两阶段方法来增强上下文情绪分类，首先利用 VLLMs 生成自然语言描述主体与视觉情境之间的明显情绪，然后将这些描述与图像输入一起用于训练融合文本和视觉特征的基于变换器的结构，在不引入复杂训练方法的情况下显著优于单一模态，并且在 EMOTIC、CAER-S 和 BoLD 三个数据集上达到了与更复杂方法相媲美甚至更高的准确性。

Apr, 2024

提出了一种利用场景和语义特征的多模态情绪识别方法，通过结合人物特征和环境上下文，使用 EmbraceNet 提取图像特征，并在 EMOTIC 数据集上验证了方法的有效性。

Aug, 2023

本文提出了一种从图像中提取高级语境表示的方法，利用单个线索和单个编码流与情感相关联，并且该模型的执行效率比以前的模型更高，其在 EMOTIC 数据集上达到了 0.3002 的 mAP 并且能够在消费级硬件上以每秒大约 90 帧的速度执行，容易部署在解决与情感识别相关的现实问题中。

May, 2023

本研究提出一个多元感情图像数据集 EMOTIC，并通过 bounding box 、场景语境等方法训练多种卷积神经网络模型，结果表明场景语境对自动识别情感状态提供了重要信息，为情感识别领域的研究提供了新思路。

Mar, 2020

本研究提出了一种可扩展可靠的众包方法，用于收集自然状态下的人类身体语言数据，建立了一个大型数据集并通过统计分析揭示了许多有趣的想法。通过使用 Laban Movement Analysis 等特征，我们开发并评估了一个名为 ARBEE 的系统，该系统能够基于身体动作识别情感表达。

Aug, 2018