本文提出了一种跨模态相关学习方法，通过层级网络的多粒度融合实现多级别关联，在保留内 - 外模态互补上下文的同时，采用多任务学习策略平衡内 - 外模态的约束，成功地将粗细模型进行融合以实现精确的跨模态相关性，实验结果表明我们的方法在多个数据集上表现出色。

Apr, 2017

提出多任务交叉模态学习框架（CISum）以通过学习多模态文章中的跨模态交互来改善多模态语义覆盖。将图像转换为视觉描述，与文本内容相关联，进而与文本内容融合以生成文本摘要，选取最相关的图像作为视觉摘要。设计自动多模态语义覆盖评估指标并在实验证明 CISum 的多模态语义覆盖优于基准 ROUGE 和 BLEU 的表现。

Feb, 2023

本文提出一个交互视觉和语言领域的多模式多媒体总结（MHMS）框架，旨在通过多模式输出为新闻文章自动生成封面图片和标题，或为在线视频提供介绍。本文的 MHMS 方法包含视频和文本细分和摘要模块，分别生成代表性关键帧和文本摘要，并利用最优输运距离制定跨域对齐目标，从而增强了跨域交互并产生高质量的多模式摘要。本文在三个最近发布的多模式数据集上评估了 MHMS 方法的效果。

Apr, 2022

本文提出了一种基于知识增强的分层信息相关学习方法（KhiCL），通过同时建模基本语义相关性和高阶知识增强实体相关性来进行多模态谣言检测。

Jun, 2023

本文提出了一种语义一致的跨域多媒体概述模型，该模型基于最优传输对视觉和文本分割进行交互匹配，并用于选择视觉和文本摘要，以从整个视频和文章中捕获结构语义，从而通过多媒体交互来匹配和选择。三个最近的多模式数据集中证明了该方法的有效性，以生成高质量的多模式摘要。

Oct, 2022

本文提出了基于视频的多模态摘要任务，探讨视频语义信息和文章相结合的多模态生成机制；基于双重交互机制和条件自注意力机制提出了多模态生成器 DIM, 在真实数据集上取得了最优表现。

Oct, 2020

介绍了一种新的极端多模式汇总方法（XMSMO），主要采用 HOT-Net 框架实现多模态输入到多模态输出的文本、图像总结，以解决信息过载问题。

Oct, 2022

本文提出了基于条件变分自编码器的层次模型，用于将一个语言的文档转化为另一个语言的摘要，从而解决了直接进行交叉语言摘要的挑战，实验证明这种方法比现有的方法更为有效和优越。

Mar, 2022

本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

Mar, 2024

本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022