ICLRJan, 2024

连接，塌陷，腐败：利用单模态数据学习跨模态任务

PDF
TL;DR利用预训练的多模态对比表示空间可以从单模态数据中学习跨模态任务，我们提供了这个空间几何的理论解释，并引入了一个三步方法（连接、降维、破坏）来缩小模态差距，增强嵌入的互换性，实现了从单模态数据中有效地进行跨模态学习，取得了零样本图像 / 音频 / 视频字幕和文本到图像生成的最新成果。
cross-modal applicationsmulti-modal contrastive representation spacemodality gapconnect, collapse, corrupt (c^3) methodzero-shot image/audio/video captioning
发现论文，激发创造
  • 连接多模态对比表示

    本文提出了一种用于跨多个模态学习的训练有效方法 C-MCR，无需成对训练数据，通过在重叠的模态 B 上对现有的 MCR 进行连接和对齐，实现了跨模态匹配，进一步引入语义增强技术以提高准确性。将该方法应用于视听对比性学习，不仅无需使用成对数据，还可以在多个数据集上获得最先进的性能表现。

    May, 2023

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 扩展多模态对比表示

    本文介绍了一种用于多模态学习的训练高效且无需成对数据的方法，名为 Ex-MCR。通过整合现有多模态对比表示空间的知识，Ex-MCR 将多个现有对比表示空间对齐到基于对比表示空间，有效保留了基于对比表示空间的原始语义对齐。通过从训练数据、架构和学习目标的角度全面增强对比表示空间的对齐，Ex-MCR 展示了卓越的表示学习性能和出色的模态扩展性。通过将 CLAP（音频 - 文本）和 ULIP（3D - 视觉）的对比表示空间对齐到 CLIP（视觉 - 文本），Ex-MCR 展示了在音频 - 视觉、3D - 图像、音频 - 文本、视觉 - 文本检索和 3D 物体分类任务上的最先进性能，进一步展示了扩展模态之间的紧密语义对齐，凸显了模态的巨大潜力。

    Oct, 2023

  • UNIMO：通过跨模态对比学习实现统一模态理解和生成

    本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。实验结果表明，UNIMO 显著改善了几个单模态和多模态下游任务的性能。

    Dec, 2020

  • 通过相关最大化和最小化实现多模态理解

    使用 Multimodal Understanding Through Correlation Maximization and Minimization（MUCMM） 框架，该框架可以轻松地嵌入到任何预训练网络中，学习模态数据的常见和个体表示，根据提出的方法，通过可视化分析过程给出了 MUCMM 学习结构化潜在表示的解释。

    May, 2023

  • 利用相关对齐学习共享语义空间进行跨模态事件检索

    该研究论文介绍了使用 $S^{3} CA$ 学习多模态数据表示的共享语义空间，利用多层卷积网络和全连接网络对图片和文本提取特征，从而实现跨模态（事件）检索，并将多模态数据投影到共享语义空间中进行检索。同时，作者贡献了一个 Wiki-Flickr 事件数据集，其中的多模态数据样本不像现有的配对数据集那样是成对描述的，而是都描述了语义事件。实验结果表明，$S^{3} CA$ 有效，优于当前最先进的方法。

    Jan, 2019

  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • COBRA：对比双模态表示算法

    本文提出了一种新的 COBRA 框架，结合了 CPC 和 NCE 的方法，旨在在联合训练图像和文本两种情况下，保留内部类关系和外部类关系，从而生成一个强大的跨模态嵌入空间。实验证明，这种框架大大降低了模态差距，并在七个基准跨模态数据集上的四个不同的下游任务中胜过了现有工作。

    May, 2020

  • 社交媒体数据的 N 模态对比损失及其在三模空间中的应用

    通过将对比损失函数扩展到任意数量的模态，本文在社交媒体中探讨三模态空间的实用性，并在两个 OSINT 情景中展示了三模态模型的使用价值：将社交媒体文物帖子分类为亲俄罗斯或亲乌克兰，以及识别给定文物的原始账户。此外，本文还展示了一种新型的四模态 CLIP 模型，可以学习文本、图像、视频和音频之间的相互作用。在四模态模型检索中，展示了新的最先进基准结果。

    Mar, 2024

  • 对比交叉模态知识共享预训练用于视觉语言表示学习和检索

    本研究提出了一种名为 COOKIE 的对比交叉模态知识共享预训练方法，采用传统的双流结构并结合两个有效的模块实现文本 - 图像联合表征，旨在提高跨模态检索的计算效率和统计指标。

    Jul, 2022