ICCVAug, 2023

Socratis：大型多模态模型是否具备情感意识？

PDF
TL;DRSocratis 是一个社会反应基准测试，用于注释图像 - 标题对中的多种情绪及其产生原因。通过对现有模型的评估，发现人类更喜欢人工撰写的情绪原因，这表明该任务相比标准生成任务更具挑战性。同时，大型视觉 - 语言模型的字幕度量标准也未能与人类偏好相关联。我们希望这些发现和我们的基准测试能够激发关于训练情感感知模型的进一步研究。
emotion predictionmultimodal contentsocratis benchmarkreasons for feelingemotion generation
发现论文，激发创造
  • SentiCap：基于情感生成图像描述

    该研究中，我们提出了一种使用情感描述图像的系统，设计了一种基于递归神经网络的情感图像标题自动生成模型，并通过多种自动和众包评估指标表明，我们的模型在图像字幕中具有较高的质量，并且生成的正向字幕具有适当的情感。

    Oct, 2015

  • 大型视觉语言模型的语境情感识别

    在这篇研究论文中，我们使用最近的大型视觉语言模型来探讨两种主要方法：图像字幕生成与仅使用语言的 LLM，以及零样本和微调设置下的视觉语言模型。我们在 Emotions in Context（EMOTIC）数据集上评估这些方法，并展示出即使在小型数据集上进行微调，视觉语言模型的性能也能显著超过传统的基准方法。我们的研究结果旨在帮助未来的机器人和智能系统对情感进行敏感的决策和交互行为。

    May, 2024

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 思考视觉情绪：理解和克服数据集偏见

    机器学习在视觉情感识别方面的应用具有很大的潜力，但目前的方法针对有限的视觉情感概念局限于小规模数据集上进行模型训练和测试。我们的分析确定了现有视觉情感基准测试中存在的一个长期被忽视的问题，即数据集偏见。基于我们的分析，我们提出了一个基于 Webly 监督方法的解决方案，通过利用大量的库存图像数据进行训练。我们发现，使用我们的大规模图像数据集学习的模型表现出了明显更好的泛化能力。此外，使用我们的方法学习得到的视觉表示在不同的图像和视频数据集上具有很大的潜力。

    Aug, 2018

  • 基于量子概率的联合多模态讽刺、情感和情绪分析框架

    本文提出一种基于量子概率的多模态讽刺、情感和情绪分析框架（QUIET），通过在两个数据集上进行大量实验，证明了 QUIET 与现有技术相比的有效性和优越性，并展示了量子概率在多情感分析中的巨大潜力。

    Jun, 2023

  • 借用人类感官：面向社交媒体多模态分类的评论感知自我训练

    本研究提出了一种利用用户评论建模和自监督学习的方法，用于在社交媒体上进行图像文字关系分类、讽刺检测、情感分类和仇恨言论检测等多模态分类任务，结果表明该方法进一步提高了先前最先进模型的性能。

    Mar, 2023

  • SemEval-2024 任务 3：会话中的多模态情感因果分析

    这篇论文概述了 SemEval-2024 任务 3 的目标，即从对话中提取所有情绪和其对应原因的对，并介绍了顶级团队的系统以及参与者的发现。

    May, 2024

  • 情感：学习真实世界视觉数据的情感解释

    本文介绍一项研究，通过一个包含 85,007 张公开图片、526,749 个情感反应和自由文本解释的大规模数据集，探讨使用自然语言表达对给定视觉刺激的情感反应所引起的情绪反应。研究提出了三个问题来解决这个新任务，并介绍了一些方法和开源数据集。

    Oct, 2022