May, 2023

连接多模态对比表示

PDF
TL;DR本文提出了一种用于跨多个模态学习的训练有效方法 C-MCR，无需成对训练数据，通过在重叠的模态 B 上对现有的 MCR 进行连接和对齐，实现了跨模态匹配，进一步引入语义增强技术以提高准确性。将该方法应用于视听对比性学习，不仅无需使用成对数据，还可以在多个数据集上获得最先进的性能表现。
multi-modal contrastive representationmcrtraining-efficient methodaudio-visual contrastive learningsemantic-enhanced alignment
发现论文，激发创造
  • 扩展多模态对比表示

    本文介绍了一种用于多模态学习的训练高效且无需成对数据的方法，名为 Ex-MCR。通过整合现有多模态对比表示空间的知识，Ex-MCR 将多个现有对比表示空间对齐到基于对比表示空间，有效保留了基于对比表示空间的原始语义对齐。通过从训练数据、架构和学习目标的角度全面增强对比表示空间的对齐，Ex-MCR 展示了卓越的表示学习性能和出色的模态扩展性。通过将 CLAP（音频 - 文本）和 ULIP（3D - 视觉）的对比表示空间对齐到 CLIP（视觉 - 文本），Ex-MCR 展示了在音频 - 视觉、3D - 图像、音频 - 文本、视觉 - 文本检索和 3D 物体分类任务上的最先进性能，进一步展示了扩展模态之间的紧密语义对齐，凸显了模态的巨大潜力。

    Oct, 2023

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 跨模态医学图像 - 报告检索的掩码对比重建

    提出了一种名为蒙版对比与重建（MCR）的高效 VLP 框架，以蒙版数据作为两个任务的唯一输入，增强任务之间的连接，并显著减少所需的 GPU 内存和训练时间。通过映射不同的模态到一个公共特征空间，然后进行局部特征聚合，减少细粒度语义信息的损失，从而降低了 fine-grained 的模态对齐所需要的 gpu 内存和时间。在 MIMIC-CXR 数据集上进行的定性和定量实验验证了该方法的有效性，并展示了在医学跨模态检索任务中的最先进性能。

    Dec, 2023

  • 多模态对比表示学习用于实体对齐

    本文提出了一种基于对比学习的多模态实体对齐模型 MCLEA，该模型首先从不同的模态学习单独的表征，然后进行对比学习来联合建模模态内和模态间的交互关系，并在公共数据集上在有监督和无监督设置下表现优于现有技术。

    Sep, 2022

  • 利用内模态和外模态图对比学习进行多模态情感识别的对抗表示

    我们提出了一种新颖的对抗表示方法，采用内模态和跨模态图对比用于多模态情感识别，可显著提高情感识别准确率。

    Dec, 2023

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 通过潜在的部分因果模型揭示多模态对比表示学习

    用于多模态数据的统一因果模型，通过线性独立成分分析的方法，可以提高对多模态对比表示学习的理解和分析深度，发现预训练的多模态模型可以通过学习解缠表示来提高其性能和鲁棒性。

    Feb, 2024

  • 连接，塌陷，腐败：利用单模态数据学习跨模态任务

    利用预训练的多模态对比表示空间可以从单模态数据中学习跨模态任务，我们提供了这个空间几何的理论解释，并引入了一个三步方法（连接、降维、破坏）来缩小模态差距，增强嵌入的互换性，实现了从单模态数据中有效地进行跨模态学习，取得了零样本图像 / 音频 / 视频字幕和文本到图像生成的最新成果。

    Jan, 2024

  • 多模态语义理解与对比跨模态特征对齐

    本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

    Mar, 2024

  • 跨模态对比学习：多模态视频表征

    提出了一种新的对比损失方法 CrossCLR，能够实现跨模态嵌入学习中考虑嵌入空间中类内相似性，避免了同一内容被映射到多个点的问题，从而显著提高了视频与文本的检索和视频字幕生成的性能。该方法具有很好的普适性，可用于其他模态之间的联合嵌入学习。

    Sep, 2021