Dec, 2023

多模态情感分析：感知情绪 vs 引发情绪

PDF
TL;DR在这项研究中，我们提出了一个多模态框架，整合了视觉和文字特征来预测 GIF 表情的情感，并结合面部情绪检测和 OCR 生成的字幕来捕捉 GIF 的语义方面。通过在 Twitter GIF 上进行实验，我们的分类器达到了 82.7% 的准确率，优于最先进的模型。此外，我们基于 ReactionGIF 数据集进行研究，分析了作者和读者感知的情感差异。
social mediagifsmultimodal frameworksentiment analysisreactiongif dataset
发现论文，激发创造
  • 众人的情感：通过跨模态蒸馏从推特学习图像情感

    本论文研究了社交媒体中的图像情感分析问题，提出了一种基于跨模态蒸馏范式的自动建立情感极性分类器的方法，即从文本数据和图像数据构建出学生模型，并在 Twitter 上收集的随机抓取的图像数据集上对模型进行了评估，证明了其在情感极性预测方面优于现有的方法。

    Apr, 2023

  • 多模态情感分析探索情绪结构

    本文提出一种新的多模态情感分析方法，使用深度神经网络结合视觉分析和自然语言处理，旨在推断用户潜在的情感状态并且在社交网络中应用此方法实现自我报告的情感标签的预测，实验证明该模型的性能优于仅基于图像或文本的单独模型，并具有与情绪相关的合理词汇列表。

    May, 2018

  • IITK 在 SemEval-2020 任务 8 中：对互联网模因进行单模态和双模态情感分析

    本文探讨了使用自然语言处理和计算机视觉技术进行情感分析的问题，研究人员使用双模态和单模态的方法，提出了一种使用 Word2vec 嵌入的前向神经网络的文本单模态方法，在情感分类任务中相对于其他方法有 63％的改进。

    Jul, 2020

  • 多模态空间编码和面部嵌入增强的 Meme 情感分析

    本文介绍了一种针对互联网模因的多模态分类方法，通过考虑图像和文本之间的相对位置和面部嵌入来提高自动分类的准确性，实验结果表明，该方法优于传统基于 OCR 提取文本的分类方法

    Mar, 2023

  • 基于人类中心的动态 GIF 情感识别

    本文介绍了一种基于人类视觉注意力机制和关键点的 GIF 情感识别网络，并证实了利用 GIF 图像中的人类信息能够显著提升识别性能。

    Apr, 2019

  • 多模态情感分析基准测试

    本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

    Jul, 2017

  • SemEval-2020 任务 8：情感分析 -- 视觉语言隐喻！

    该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

    Aug, 2020

  • 多模态情感分类

    本文研究社交媒体中 emoji 图标的情感分类问题，并探讨了不同的多模态官能（文本、emoji 和图片）在此问题中的作用，结果表明三种官能可互补，最高准确度达到 71.98％。

    Mar, 2019

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • SocialNLP EmotionGIF 2020 挑战赛概述：在社交媒体上预测反应 GIF 分类

    该论文主要介绍了 2020 年 ACL 会议上举办的 EmotionGIF2020 比赛及其数据集（包含 40,000 条带有反应表情的推文），旨在预测用户对于在线文本的情感反应，并评估了参赛队伍的表现，获胜队伍再 Recall@K 指标下的得分为 62.47%。

    Feb, 2021