May, 2020

COBRA：对比双模态表示算法

PDF
TL;DR本文提出了一种新的 COBRA 框架，结合了 CPC 和 NCE 的方法，旨在在联合训练图像和文本两种情况下，保留内部类关系和外部类关系，从而生成一个强大的跨模态嵌入空间。实验证明，这种框架大大降低了模态差距，并在七个基准跨模态数据集上的四个不同的下游任务中胜过了现有工作。
multi-modal datajoint embedding spacescobra frameworkcontrastive predictive codingnoise contrastive estimation
发现论文，激发创造
  • 使用表示编码书进行多模态对齐

    该研究论文提出了一种基于聚类表示学习的多模态信号对齐方法，使用字典聚类编码将图像和文本编码到一个共同的编码空间中，并采用师生蒸馏的方法进一步优化学习过程，在多种视觉语言基准测试中取得了最新的最佳结果。

    Feb, 2022

  • 连接多模态对比表示

    本文提出了一种用于跨多个模态学习的训练有效方法 C-MCR，无需成对训练数据，通过在重叠的模态 B 上对现有的 MCR 进行连接和对齐，实现了跨模态匹配，进一步引入语义增强技术以提高准确性。将该方法应用于视听对比性学习，不仅无需使用成对数据，还可以在多个数据集上获得最先进的性能表现。

    May, 2023

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 多模式表示学习中潜在模态结构的理解与构建

    我们提出了三种构建潜在模态结构的通用方法，涵盖了深度特征分离，布朗桥损失和几何一致性损失，通过广泛的实验在多个任务上获得一贯的性能提升。

    Mar, 2023

  • 利用内模态和外模态图对比学习进行多模态情感识别的对抗表示

    我们提出了一种新颖的对抗表示方法，采用内模态和跨模态图对比用于多模态情感识别，可显著提高情感识别准确率。

    Dec, 2023

  • 视觉表征学习的多模态对比训练

    通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在 ImageNet 数据集上实现了 55.3% 的顶级验证精度。

    Apr, 2021

  • 连接，塌陷，腐败：利用单模态数据学习跨模态任务

    利用预训练的多模态对比表示空间可以从单模态数据中学习跨模态任务，我们提供了这个空间几何的理论解释，并引入了一个三步方法（连接、降维、破坏）来缩小模态差距，增强嵌入的互换性，实现了从单模态数据中有效地进行跨模态学习，取得了零样本图像 / 音频 / 视频字幕和文本到图像生成的最新成果。

    Jan, 2024

  • 跨模态检索的概率嵌入

    本研究提出了一种基于概率交叉模态嵌入的跨模态检索方法，该方法能够捕捉到一个图像或者一句话与多个相应图像或句子间的一对多关系。我们通过在 CUB 数据集上测试，证明了该方法不仅能提高检索性能，而且可以提供可解释性和不确定性的嵌入表示。

    Jan, 2021

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • CoMIR：用于配准的对比式多模态图像表示

    提出了对比编码方法来学习共享的、稠密的图像表示，称为 CoMIRs (Contrastive Multimodal Image Representations)，通过在对齐的图像上使用基于噪声对比估计的对比损失训练每种模态的一个神经网络，使用超参数 - free InfoNCE 修改确保所学表示的旋转等变性，实现了多模式图像注册，超越了现有的注册方法。

    Jun, 2020