AAAINov, 2016

当显著性遇见情感：理解图像如何引发情绪和情感

PDF
TL;DR本文探讨图像情感分析中视觉显著性与情感之间的微妙而全面的相互作用，并使用现有技术对图像进行分析，试图阐明显著区域的情感如何影响图像的整体情感，研究结果表明了显著性与情感之间的相关性，并为可视化情感唤起机制提供了新颖的见解。
sentiment analysisimage sentiment analysisvisual saliencyscene-type dimensionssaliency detection algorithm
发现论文，激发创造
  • 众人的情感：通过跨模态蒸馏从推特学习图像情感

    本论文研究了社交媒体中的图像情感分析问题，提出了一种基于跨模态蒸馏范式的自动建立情感极性分类器的方法，即从文本数据和图像数据构建出学生模型，并在 Twitter 上收集的随机抓取的图像数据集上对模型进行了评估，证明了其在情感极性预测方面优于现有的方法。

    Apr, 2023

  • 探索篡改检测中的显著性偏见

    通过分析流行的图像操纵数据集中的视觉和语义显著趋势及其对检测的影响，我们提出了一个框架，以促进语义感知的法庭取证方法的进一步发展，从而了解视觉误导现象。

    Feb, 2024

  • 社交媒体视觉文本情感分析综述

    本文研究了多模态情感分析领域，探讨了社交媒体网络上发布的视觉和文字数据，并提供了包括数据预处理、特征提取技术、情感基准数据集以及适用于不同领域的多种分类方法和数据融合策略。同时，我们还介绍了该领域面临的主要挑战和关键的情感应用。

    Jul, 2022

  • 从像素到情感：通过微调 CNN 进行视觉情感预测

    本研究探讨了如何利用卷积神经网络 (CNNs) 在社交媒体图片数据中进行视觉情感分析，通过微调实验和架构分析，本文提出了几种架构修改方法，使得模型对于图片情感的准确预测性能得到提升，并通过对模型的本地模式展示提供关于模型对于视觉正负情绪感知的见解。

    Apr, 2016

  • 构建情感计算机：通过深度神经网络识别图像情感

    本研究聚焦于视觉图像的对象元素和背景的语义信息，通过建立基于深度前馈神经网络的情感模型，实现对视觉图像情感值的连续预测，证实了此预测模型的有效性。

    May, 2017

  • 多模态情感分析：感知情绪 vs 引发情绪

    在这项研究中，我们提出了一个多模态框架，整合了视觉和文字特征来预测 GIF 表情的情感，并结合面部情绪检测和 OCR 生成的字幕来捕捉 GIF 的语义方面。通过在 Twitter GIF 上进行实验，我们的分类器达到了 82.7% 的准确率，优于最先进的模型。此外，我们基于 ReactionGIF 数据集进行研究，分析了作者和读者感知的情感差异。

    Dec, 2023

  • 印象：理解视觉符号学和美学冲击

    通过独特的图像语义学数据集 Impressions，研究图像的符号学以及特定的视觉特征和设计选择如何引发特定的情感、思考和信念，证明了对图像印象的影响力超出了形式美学的描述，而是涉及其作为传达行为的成功，其中风格为意义形成做出的贡献与主题内容一样重要。通过 Fine-tuning 和少样本适应，对现有的多模态图像字幕和条件生成模型进行训练，可以模拟出对图像的合理人类反应，从而有效地模拟图像的印象和美学评价。

    Oct, 2023

  • 社交媒体上图像和文字表达情感的互补性

    本文提供具有新颖性的英文 Reddit 帖子语料库，研究多模式社交媒体上图文情感信息的互补性，发现对于某些情感信息如愤怒和悲伤，多模式模型可以更好地预测；而对于某些信息如恶心、喜悦和惊讶，仅以文本信息便足够预测。

    Feb, 2022

  • 关注图像字幕模型生成的描述

    研究了人类描述场景时自底向上显著性视觉关注和物体引用之间的一致性；提出了一种以显著性为增强因素的图像标题生成模型，结果发现该模型并不明显优于传统方法，但能更好地适用于未知数据。

    Apr, 2017

  • 情感图像内容分析：二十年回顾与新视角

    介绍了 AICA 的发展历程及其三个主要挑战，即情感差距、感知主观性和标签噪声与缺失。总结和比较了情感特征提取、学习方法以及 AICA 应用的代表性方法。同时，探讨了未来的挑战和应用前景。

    Jun, 2021