本文提出了一种利用意见表达的不同视角，构建了一种联合细粒度和粗粒度意见模型的方法，该模型具有注意力机制的某些特性，对最近发布的多模态细粒度注释语料库提供了具有竞争力的结果。

Aug, 2019

本文介绍了针对 POM 电影评论数据集的一组观点注释，包括两个粒度级别的粗略层面和细粒度层面，并提出了一些具有特定类别的注释以便于电影评论的观点注释。我们还提供了一个可以预测意见（例如极性和方面）不同组成部分的分层观点预测框架，并提供了第一组可用于细粒度多模态观点预测任务的地面事实注释。此外，我们进行了一项相关数据采集的研究，并在不同层面的粒度下报告了标注者间的一致性。最后，我们提供了一个基准系统和注释数据以供公开使用。

Feb, 2019

本文提出了一个基于 Youtube 产品评论视频的首个数据集，以及一个新的关注 RNN 模型，用于方面提取和联合方面提取和情感分类，同时，该模型在 SemEvalABSA 语料库上提供了最先进的方面提取性能。

Aug, 2017

本文介绍了一种多模态融合模型，该模型专门使用高级视频和音频特征来分析口语句子的情感。该模型在 CMUMOSEI 数据集上进行了训练和测试，并获得了验证集上的 F1 得分 0.8049 和挑战测试集上的 F1 得分 0.6325。

Jul, 2018

该论文提出了一种新颖的方法来执行新闻视频的情感分析，基于从内容中提取的音频、文字和视觉线索的融合。该方法旨在为构建媒体宇宙的 ethos（身份）的 semiodiscoursive 研究做出贡献，我们计算了从面部表情中识别出的视觉强度、参与者的声音调制、文本语音和情感得分（极性）。实验结果显示，该方法在情感分类任务中达到了高达 84％的准确度，因此在新闻界中具有极高的应用潜力。

Apr, 2016

本研究通过卷积神经网络从文本、视觉等多个角度提取特征，实现了情感分析和情绪识别，并取得了 10% 的性能提升。同时，我们还探讨了在多模态情感分析研究中经常被忽视的若干重要问题，如讲话者无关模型和模态重要性等，从而为今后的研究提出了新的基准，并展示了在执行此类任务时需要考虑的不同方面分析。

Jul, 2017

本文介绍了一个包含视频、标题和评论的新数据集，并 presents 了一种基于 attention-based 机制的方法，该方法可以让模型从用户评论等有时不相关的数据中学习，并通过使用评论来学习更好的、更具上下文的图像、视频和音频表示。

Oct, 2022

本文提出了一种基于文档和相关视频的新型多模态摘要任务，并构建了一个基于 bi-hop attention 和改进的 late fusion 机制的双流摘要模型，旨在同时处理文本和视频摘要。实验结果表明，该模型有利于多模态摘要且优于现有方法，同时构建了一个新的文档和视频数据集作为未来研究的资源。

Sep, 2020

本文研究如何使用数据挖掘、自然语言处理技术和本体论来提取产品方面和用户意见，并使用频繁（标记）集，讨论了提出的框架能够提取评论中所有可能的方面和意见，并通过相似性分组代表性方面，并生成输出摘要。该框架与现有基线模型相比，得到了有希望的结果。

Apr, 2014

本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

Feb, 2020