本研究提出了 Multimodal Aspect-Category Sentiment Analysis (MACSA) 数据集，其中包含了超过 21K 个文本 - 图像对，提供了针对文本和视觉内容的细粒度注释，并首次使用 aspect category 作为枢轴，对齐两种模态之间的细粒度元素。本研究建立了 Multimodal ACSA 任务和一个基于多模态图形对齐的融合模型 (MGAM)，采用精细的跨模态融合方法。实验结果表明，本方法可以便于这个语料库未来研究的基线比较。本文中的数据集和代码将公开提供。

Jun, 2022

本文提出了一种新的框架 SeqCSG，其中包括构建顺序跨模态语义图和编码器 - 解码器模型方法，用于有效利用跨模态语义图进行多模态方面的情感分类，实验结果表明，我们的方法优于现有方法并在两个标准数据集中实现了最先进水平。

Aug, 2022

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

本文提出了一种基于多模态情感分析的研究，并强调要重视并利用非语言交流的关键信息，为此作者提出了 CH-SIMS v2.0 数据集和 Acoustic Visual Mixup Consistent 框架来揭示非语言交流中的情感表达，并且该研究为实现人机交互的应用场景提供了重要的参考。

Aug, 2022

提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

Aug, 2022

本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

Jul, 2018

本文针对图文检索中的细粒度语义匹配问题，以 MSCOCO-Test-5K 和 Flickr30K-Test-1K 数据集不足的情况为背景，提出了将其重建为 MSCOCO-FG 和 Flickr30K-FG 等数据集的方法，并通过模型评估和实验指出了模型在细粒度语义理解方面的不足之处和提升空间。

Apr, 2023

本文通过创建用于评估基于方面的情感分析的新基准语料库 ——UIT-ViSFD，介绍了构建越南社交听取系统的流程。通过采用双向 LSTM 架构与快速文本词向量的方案，该系统在方面任务和情感任务方面取得了 84.48％和 63.06％的 F1 分数，获得了比传统机器学习和深度学习系统更好的性能，并构建了基于该模型的 SA2SL 社交听取系统，这将激励未来的社交听取系统。

May, 2021

本研究提出了一种基于 BiLSTM-CRF 的新颖系统，利用收集的词汇和语境特征，针对基于方面的情感分析中的波及用户观点的判定问题，利用越南语语言数据集进行评估，最终实现了 62.76% 的 F1 分数的最优解。

Oct, 2021

本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

May, 2019