该研究详细研究了文化和语言的独特性，特别是情感语义和情感在社交多媒体中的表现，并提出了一种基于多语言的新方法来自动发现情感构造。多语言视觉情感概念本体（MVSO）的创建是通过提出一种在社交多媒体平台上应用的类别聚类视觉检测名词和这些名词情感偏见版本的子聚类的方法来实现的，并展示了一个基于图像的预测任务以显示特定语言模型在多语言环境中的普适性。此外，该研究还发布了一个 >15.6K 跨 12 种语言的情感偏执视觉概念数据集以及对应的检测库和 >7.36M 张图像和元数据。

Aug, 2015

我们的研究展示了多语言语境下数据集和模型生成的图像标题之间的显著语义差异，以及不同语言训练的模型在对应语言的测试数据上表现最佳，而在多语言内容上训练的模型在所有评估数据组合上都表现良好，这对于改善图像理解的多样化感知具有重要意义。

Oct, 2023

该研究提供了一个由 79 个数据集组成的开放性跨语言语料库，可用于培训情感模型，同时展现了基于不同基础模型、训练目标、数据集集合和微调策略所进行的数百次实验的多方面情感分类基准。

Jun, 2023

本文介绍了基于 Amazon Mechanical Turk 作为众包平台，以英文 ANP 为例从 Multilingual Visual Sentiment Ontology 中获取图像情感数据集，目的是用于评估自动预测图像或 ANP 情感的系统的基准。

Nov, 2016

本文介绍一项研究，通过一个包含 85,007 张公开图片、526,749 个情感反应和自由文本解释的大规模数据集，探讨使用自然语言表达对给定视觉刺激的情感反应所引起的情绪反应。研究提出了三个问题来解决这个新任务，并介绍了一些方法和开源数据集。

Oct, 2022

该研究针对社交媒体上流行的多模式互联网模因进行情感分析，人工标注了约 10,000 条模因标签，并涵盖情感和情感类型（讽刺，有趣，冒犯，积极影响）及其相应的强度，三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0.32。

Aug, 2020

论文提供了一个大型情感分析数据集 (ArtEmis)，用于分析视觉艺术作品与情感体验之间的关联，旨在通过机器学习模型提供情感影响和语言解释之间的详细理解。通过调查人类对于 81,000 幅维基百科艺术作品的情感归属权和解释等信息，对与视觉作品产生情感联系的数据信号进行了精细的建模，进而提出了能够清晰表达视觉刺激的情感并解释其语义和抽象内容的系统。

Jan, 2021

通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了一个新的 ImageNet-style 分层协议，从本地化的角度推荐相关概念和图像，建立了一个用于多文化及多语言视觉和语言推理的数据集 MaRVL，并列举出一系列现代模型的基线，发现其跨语言性能显著滞后于英语的监督性能。

Sep, 2021

本论文研究了社交媒体中的图像情感分析问题，提出了一种基于跨模态蒸馏范式的自动建立情感极性分类器的方法，即从文本数据和图像数据构建出学生模型，并在 Twitter 上收集的随机抓取的图像数据集上对模型进行了评估，证明了其在情感极性预测方面优于现有的方法。

Apr, 2023

本文提出一个使用多语言嵌入词汇表达图像语义信息的框架，将图像和文本嵌入到一个唯一的分布向量空间中，从而使得我们可以使用描述图像内容的文本查询来搜索图像，同时也可以使用图像相似性，我们使用实证研究证明了该方法的效率。

Mar, 2019