本文借鉴视觉传达研究，探究了多模式信息检索的有用语义图像 - 文本关系，在自动收集和扩充数据资源的基础上，采用深度学习系统和三种度量标准（跨模态互信息、语义相关性和图像与文本的状态关系）对八种语义图像 - 文本类别进行了预测，并在一个严格的测试集上展示了该方法的可行性。

Jun, 2019

本文提供具有新颖性的英文 Reddit 帖子语料库，研究多模式社交媒体上图文情感信息的互补性，发现对于某些情感信息如愤怒和悲伤，多模式模型可以更好地预测；而对于某些信息如恶心、喜悦和惊讶，仅以文本信息便足够预测。

Feb, 2022

研究了一种基于多模态方法的表情符号预测技术，通过结合图片和文本信息可以更准确地进行表情符号预测，并发现这两种模态的信息能够相互补充从而提高预测准确性。

Mar, 2018

利用社交媒体帖子中的多模态信息，通过引入辅助损失与主任务相结合的方式，成功解决了文本和图像信息融合中的挑战，取得了一致的改进效果，并通过详细分析揭示了辅助任务在特定场景和案例中的最有效性。

Sep, 2023

本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约 78% 的准确度，并持续提高了图像文本检索基线的性能。

Aug, 2022

本文研究了文本和图像相结合在社交媒体中的多媒体传播方式，提出了交叉模态话语的新概念，通过五个标签来表述图像和文本之间的关联，验证了通过多头注意力与字幕的多媒体编码器能够达到最先进的结果。

Feb, 2023

本文在 Twitter 和 Instagram 等社交媒体大规模爆炸的情况下，探索了基于多媒体发布中关于实体识别的问题。我们提出了一种端到端模型，学习了文本和图像的联合表示。模型扩展了多维自我关注技术，其中现在图像有助于增强单词之间的关系。实验表明，我们的模型能够更精确地捕捉文本和视觉语境，实现了 Twitter 多模式命名实体识别数据集的最新结果。

Apr, 2019

本研究利用机器学习方法，探究社交媒体中的多模态内容对用户注意力和参与度的影响因素，发现文字和图片结合的特征通常胜过基于身份的特征，而简单的单一文本特征和深度神经网络视觉特征单独考虑时可以获得最高的准确性，两种模态的结合通常可以提高整体准确性。

Mar, 2017

本文提出了一种基于深度学习的、用于评估包含图像和标题的多媒体包的语义完整性的方法，这样可以检测包的操纵，他们利用一个引用数据集创建图像和标题的联合嵌入，并提供了图像 - 标题一致性得分。作者们还提出了 MultimodAl 数据操纵数据集 (MAIM)，用来验证这种方法的性能。在检测语义不一致的媒体包方面，本方法的 F1 得分分别为 0.75、0.89 和 0.94。

Jul, 2017

本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

May, 2021