本文提出一种新的多模态情感分析方法，使用深度神经网络结合视觉分析和自然语言处理，旨在推断用户潜在的情感状态并且在社交网络中应用此方法实现自我报告的情感标签的预测，实验证明该模型的性能优于仅基于图像或文本的单独模型，并具有与情绪相关的合理词汇列表。

May, 2018

本文研究社交媒体中emoji图标的情感分类问题，并探讨了不同的多模态官能（文本、emoji和图片）在此问题中的作用，结果表明三种官能可互补，最高准确度达到71.98％。

Mar, 2019

通过注释实验和BERT分类器，我们研究了文学作品中的美学情感，包括复杂和微妙的情感，以及作者的意图和读者的反应之间的区别，并形成了一个对于未来大规模分析的一致数据集。

Mar, 2020

通过使用图像和文本，我们研究了艺术品对观众情感的影响，并利用多模态分类任务探究了模型的性能表现，发现单模态多模态 transformer 模型比图像模型和双模态模型性能更好。同时，与文本模型 BERT 相比，采用单模态模型 MMBT 能够提高在极端正负情感类别上的性能。

Oct, 2021

本文介绍一项研究，通过一个包含85,007张公开图片、526,749个情感反应和自由文本解释的大规模数据集，探讨使用自然语言表达对给定视觉刺激的情感反应所引起的情绪反应。研究提出了三个问题来解决这个新任务，并介绍了一些方法和开源数据集。

Oct, 2022

本研究提出了一种利用用户评论建模和自监督学习的方法，用于在社交媒体上进行图像文字关系分类、讽刺检测、情感分类和仇恨言论检测等多模态分类任务，结果表明该方法进一步提高了先前最先进模型的性能。

Mar, 2023

本研究提出了一种基于LEIA模型的情绪文本识别方法，该模型使用了一个以上的自我注释情绪标签的超过6百万条社交媒体数据集进行训练，并在领域内和领域外的测试数据集上取得了优异的性能表现。

Apr, 2023

Socratis是一个社会反应基准测试，用于注释图像-标题对中的多种情绪及其产生原因。通过对现有模型的评估，发现人类更喜欢人工撰写的情绪原因，这表明该任务相比标准生成任务更具挑战性。同时，大型视觉-语言模型的字幕度量标准也未能与人类偏好相关联。我们希望这些发现和我们的基准测试能够激发关于训练情感感知模型的进一步研究。

Aug, 2023

这篇论文介绍了一种从文本中分类情绪的方法，它针对各种情绪的多样性进行了差异化的识别，通过训练基于Transformer的模型建立了基准分类模型，并通过序数分类模型在情绪空间中考虑了情绪的价值和激活水平，结果表明该方法不仅能够准确预测情绪，而且在错分情况下显著降低了错误的程度。

Apr, 2024

本研究调查了预训练的多模态模型CLIP在识别抽象视觉艺术所引发的情感方面的认知合理性。我们使用包含带有情感标签和人类注释员提供的文本证明的图像的数据集进行研究。我们对证明进行语言分析，对图像和证明进行零-shot情感分类，并应用基于相似度的情感预测，研究颜色-情感交互作用。在识别抽象图像和证明的情感方面，CLIP的准确度相对较低，但高于基准水平，这表明CLIP以一种与人类认知过程不太一致的方式解码情感复杂性。此外，我们还探究了图像和证明中的颜色-情感交互作用。预期的颜色-情感联系（例如，红色与愤怒有关）在图像和通过人类和CLIP注释的文本中得到了确认，后者展示出更强的交互作用。我们的结果凸显了连接图像特征和情感时人类处理与机器处理之间的差异。

May, 2024