May, 2017

面向情感理解的高层概念

PDF
TL;DR本文通过高级概念来探究图片内容与观众情感反应之间的联系，并提出了一个基于目标和场景来预测观众情感反应的非线性支持向量回归模型。实验结果显示，该模型与现有方法相比具有相似的效果，并明显揭示了现有研究中缺失的高级概念和情感类别之间的联系。
high-level conceptsekman's emotional classessupport vector regressionemotional responseimage content
发现论文，激发创造
  • 图像情感识别的高层次语境表示

    本文提出了一种从图像中提取高级语境表示的方法，利用单个线索和单个编码流与情感相关联，并且该模型的执行效率比以前的模型更高，其在 EMOTIC 数据集上达到了 0.3002 的 mAP 并且能够在消费级硬件上以每秒大约 90 帧的速度执行，容易部署在解决与情感识别相关的现实问题中。

    May, 2023

  • 构建情感计算机：通过深度神经网络识别图像情感

    本研究聚焦于视觉图像的对象元素和背景的语义信息，通过建立基于深度前馈神经网络的情感模型，实现对视觉图像情感值的连续预测，证实了此预测模型的有效性。

    May, 2017

  • 用常识推理提供更好的语境进行情感理解的 VLLMs

    利用视觉和大规模语言模型（VLLMs）的开创性能力，我们提出了一种两阶段方法来增强上下文情绪分类，首先利用 VLLMs 生成自然语言描述主体与视觉情境之间的明显情绪，然后将这些描述与图像输入一起用于训练融合文本和视觉特征的基于变换器的结构，在不引入复杂训练方法的情况下显著优于单一模态，并且在 EMOTIC、CAER-S 和 BoLD 三个数据集上达到了与更复杂方法相媲美甚至更高的准确性。

    Apr, 2024

  • 情感：学习真实世界视觉数据的情感解释

    本文介绍一项研究，通过一个包含 85,007 张公开图片、526,749 个情感反应和自由文本解释的大规模数据集，探讨使用自然语言表达对给定视觉刺激的情感反应所引起的情绪反应。研究提出了三个问题来解决这个新任务，并介绍了一些方法和开源数据集。

    Oct, 2022

  • 利用多模态场景信息的情感感知

    利用预训练视觉语言模型从图像中提取前景环境描述，并结合其他多元素素进行情感预测，在自然环境和电视秀等数据集中取得了可行的结果。

    Mar, 2023

  • 多语言视觉情感概念匹配

    通过众包实验和单词嵌入，本文研究了文化对视觉情感感知的影响，并提供了一种有效的聚类框架，以探索、检索和浏览数据集中的多语言情感视觉概念，并通过基于众包的情感注释等新颖度量方法进行了评估。

    Jun, 2016

  • 学习多层深度表示用于图像情感分类

    本文提出了一种新的深度网络（MldrNet），可以通过图像语义、图像美学和全局与局部视图的低级视观特征来学习图像情感分类的多级深层表示。实验表明，该方法在分类准确性方面至少优于现有最先进的使用深度特征或手工特征的方法。

    Nov, 2016

  • 情感图像内容分析：二十年回顾与新视角

    介绍了 AICA 的发展历程及其三个主要挑战，即情感差距、感知主观性和标签噪声与缺失。总结和比较了情感特征提取、学习方法以及 AICA 应用的代表性方法。同时，探讨了未来的挑战和应用前景。

    Jun, 2021

  • 大型视觉语言模型的语境情感识别

    在这篇研究论文中，我们使用最近的大型视觉语言模型来探讨两种主要方法：图像字幕生成与仅使用语言的 LLM，以及零样本和微调设置下的视觉语言模型。我们在 Emotions in Context（EMOTIC）数据集上评估这些方法，并展示出即使在小型数据集上进行微调，视觉语言模型的性能也能显著超过传统的基准方法。我们的研究结果旨在帮助未来的机器人和智能系统对情感进行敏感的决策和交互行为。

    May, 2024

  • 图像标题的情感背景评估

    通过图像的标题生成以及使用大型语言模型（LLMs）进行推理的方法，该论文探讨了 LLMs 是否可以支持上下文情感估计任务，并表明 GPT-3.5 模型在情感预测方面具有潜力。

    Sep, 2023