学习分解的多模式表示

ICLRJun, 2018

Learning Factorized Multimodal Representations

Yao-Hung Hubert Tsai, Paul Pu Liang, Amir Zadeh, Louis-Philippe Morency, Ruslan Salakhutdinov

TL;DR本文提出一种优化跨多模态数据和标签的联合生成 - 判别目标函数的模型，将表示分解为多模态判别和模态特异性生成两组因子，实验结果表明该模型能够学习到有意义的多模态表示，并取得了领先水平的性能。

Abstract

Learning multimodal representations is a fundamentally complex research problem due to the presence of multiple heterogeneous sources of information. Although the presence of multiple modalities provides additional valuable information, there are two key challenges to address when lear

multimodal representations intra-modal and cross-modal interactions generative-discriminative objective modality-specific generative factors state-of-the-art performance

发现论文，激发创造

利用大型多模式模型解释生成模型的潜在表示

我们提出了一个框架，使用大型多模态模型全面解释生成模型中的每个潜在因子，并量化评估我们生成解释的不确定性，从而学习不同生成模型对解释的解缠效果，最后讨论最先进的大型多模态模型的解释能力和局限性。

Feb, 2024

因式对比学习：超越多视角冗余

本文提出了 FactorCL，一种新的多模态表示学习方法，旨在捕获有助于下游任务的共享信息和独特信息，该方法通过将任务相关信息分解为共享和独特表示，并通过最大化 MI 下限来捕获任务相关信息以及通过最小化 MI 上限来消除任务不相关的信息，并使用多模态数据增强来近似任务相关性。实验证明 FactorCL 在六项基准测试上取得了最先进的结果。

Jun, 2023

用于组合表示学习的多模态生成模型

该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明，对于图像、标签和文本数据，这些模型在很多领域中达到了最优结果，并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后，在配合口语的任务中，该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。

Dec, 2019

多模态低秩融合与模态特定因子的高效实现

本文介绍了一种使用低秩张量完成多模态数据融合的新方法，并在多模态情感分析、演讲者特征和情感识别等多个任务中取得了有竞争力的结果且极大地减少了计算复杂度。

May, 2018

通过动态融合方法学习多模态词表示

本研究提出了三种新颖的动态融合方法，旨在根据不同类型的词动态地融合来自不同模式的语义表示，并在单模型和多模型情况下取得了优于现有方法的成果。

Jan, 2018

多模式学习理论

研究多模态学习算法的泛化性质，发现与单一模态学习相比，多模态学习可以达到更好的泛化界限，最多可以提高到 O (√n) 倍，其中 n 代表样本大小。

Sep, 2023

多模态对比学习的可识别性结果

通过定义多种机制以及与机制特定的潜在变量，本文证明了对比学习可以在多模式下阻止识别那些在模态之间共享的潜在因素，从而为多模式表示学习提供了理论基础，并说明了在哪些情况下多模式对比学习在实践中有效。

Mar, 2023

多模态情感分析中的单模编码和跨模态预测的多模态对比学习

本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022

对比建模：一种高效的多模态生成模型框架

通过对比学习，训练多模式生成模型不仅关注多模式信息的共性，还关注相关和非相关的多模式数据之间的区别，使得可以更加有效地利用未标记的、不成对的多模态数据。

Jul, 2020

基于划分的解缠：一种用于多模态感官数据的表示学习框架

本文提出了一种基于 PVAE 的多模态生成模型，可将共享因素和模态相关因素编码为不同的潜变量，用于生成符合不同语义和风格要求的条件数据，并利用发现的语义单元在两个音频 / 图像数据集上完成了定量和定性的评估。

May, 2018