Jul, 2020

对比建模：一种高效的多模态生成模型框架

PDF
TL;DR通过对比学习，训练多模式生成模型不仅关注多模式信息的共性，还关注相关和非相关的多模式数据之间的区别，使得可以更加有效地利用未标记的、不成对的多模态数据。
multimodal learninggenerative modelscontrastive frameworkdata-efficientunlabeled data
发现论文，激发创造
  • 用于组合表示学习的多模态生成模型

    该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明，对于图像、标签和文本数据，这些模型在很多领域中达到了最优结果，并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后，在配合口语的任务中，该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。

    Dec, 2019

  • 多模态对比学习的可识别性结果

    通过定义多种机制以及与机制特定的潜在变量，本文证明了对比学习可以在多模式下阻止识别那些在模态之间共享的潜在因素，从而为多模式表示学习提供了理论基础，并说明了在哪些情况下多模式对比学习在实践中有效。

    Mar, 2023

  • 多模态图学习的生成任务

    多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

    Oct, 2023

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 通过生成扩散指导的视角分析多模式目标

    通过使用分类器引导的扩散模型生成反映分类器提供的语义信号的图像，我们研究了多模态学习目标的特征，并比较了对比、匹配和字幕损失。我们还引入了一个简单的基线，不仅支持我们的分析，而且以直观的方式改进了生成引导的质量。

    Feb, 2023

  • 学习分解的多模式表示

    本文提出一种优化跨多模态数据和标签的联合生成 - 判别目标函数的模型，将表示分解为多模态判别和模态特异性生成两组因子，实验结果表明该模型能够学习到有意义的多模态表示，并取得了领先水平的性能。

    Jun, 2018

  • 基于扩散模型的认知启发跨模态数据生成

    探索一种基于扩散模型的跨模态生成方法，通过多模态扩散模型的训练和采样方案使用逐通道图像条件学习跨模态相关性，实现数据生成和多种模态的条件生成。

    May, 2023

  • 多模式学习理论

    研究多模态学习算法的泛化性质，发现与单一模态学习相比，多模态学习可以达到更好的泛化界限，最多可以提高到 O (√n) 倍，其中 n 代表样本大小。

    Sep, 2023

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 基于划分的解缠：一种用于多模态感官数据的表示学习框架

    本文提出了一种基于 PVAE 的多模态生成模型，可将共享因素和模态相关因素编码为不同的潜变量，用于生成符合不同语义和风格要求的条件数据，并利用发现的语义单元在两个音频 / 图像数据集上完成了定量和定性的评估。

    May, 2018