本研究提出了跨模态生成对抗网络 (Cross-modal GANs) 来建模不同模态数据的联合分布并学习判别式公共表征以弥合异质性差距。实验证明，与其他 10 种方法相比，我们的方法在跨模态检索范式上表现出更好的性能。

Oct, 2017

本研究通过利用深度生成对抗训练解决了跨模态音频 - 视觉生成的问题，使用条件生成对抗网络实现了音乐表演的跨模态音频 - 视觉生成，并探索了音频和视觉信号的不同编码方法以及基于乐器和姿势的生成情景，并且进行了分类和人工评估实验，证明了该模型可以在很大程度上从一个模态（音频 / 视觉）生成另一个模态（视觉 / 音频），并提供了未来研究所需的数据集和设计选项。

Apr, 2017

我们介绍了一种多模态扩散模型，专为视频和音频的双向条件生成而设计。通过引入联合对比训练损失来增强视听事件的同步，我们认识到在多模态生成任务中准确对齐视频和音频事件的重要性。我们的研究方法包括对多个数据集进行全面实验，以全面评估我们所提出的模型的有效性。从各个角度进行了生成质量和对齐性能的评估，包括客观和主观指标。我们的研究结果表明，所提出的模型优于基线，证实了它的有效性和效率。特别地，对比损失的引入改善了音视频对齐，特别是在高相关性的视频到音频生成任务中。这些结果表明我们所提出的模型具有改善多模态生成的质量和对齐性的潜力，从而促进了视频和音频条件生成系统的发展。

Dec, 2023

使用交叉模态对比生成对抗网络（XMC-GAN）进行文本到图像的综合，通过使用多个对比损失，注意力自我调节生成器和对比鉴别器，以最大化图像和文本之间的相互信息，改善了图像合成的质量，并在 MS-COCO、Localized Narratives 和 Open Images 上实现了最先进的 FID 评分．

Jan, 2021

利用多模态特征空间中的文本和音频嵌入指导生成模型的生成图像，进一步实现音乐视频创作，我们提出的方法需要对视频进行自动分段，同时保持时间上的一致性，与以前的方法不同，我们的方法融合了文本和音频两个模态，展示了良好的应用效果

Jan, 2022

通过引入混合注意力网络、信使引导中融合变换以及跨音频预测一致性等方法，本研究提出了一种新的弱监督音频 - 视觉视频解析框架，以解决多模态融合中的问题并改进单模态事件检测的性能。实验表明，我们的框架相比现有的最先进方法，表现更加优越。

Nov, 2023

本文提出一种新型级联关注引导残差生成对抗网络（CAR-GAN），旨在通过音频信号重建场景。该模型通过残差模块和级联关注引导网络解决不同类型数据间的差异，并在高级语义标签领域中保持一致性，实现了跨模态音视频生成的最新进展。

Jul, 2019

本文提出了一个无监督生成式对抗跨模态哈希 (UAGCH) 方法，该方法使用生成式对抗网络来学习跨模态哈希的哈希函数，并利用相关图来捕捉不同模态间的流形结构，从而实现快速且灵活的检索。与 6 种最先进的方法的实验结果证实，提出的方法具有很高的检索准确性。

Dec, 2017

本文提出使用条件生成对抗网络（CGAN）从传感器数据中提取知识并增强低分辨率目标检测的方法，并着重解决缺失模态的问题，提出了一种基于 CGAN 的算法，可在给定其他可用模态时从缺失模态生成代表性信息。尽管存在模态差距，但演示了可以从一组模态中提取知识到另一组模态中，且比传统方法和最近的师生模型取得了更好的性能。

Jul, 2018

提出了一种基于查询的时刻定位新任务，使用交叉和自我模态图注意力网络 (CSMGAN)，通过联合图遍历的迭代消息传递过程将最佳匹配段定位在未裁剪的视频中，描述了跨模态交互图 (CMG) 和自模态关系图 (SMG) 的关系，并通过多层联合图来捕捉两种模态之间的高阶交互，提高了定位的精度。

Aug, 2020