ICLRMar, 2023

多模态对比学习的可识别性结果

PDF
TL;DR通过定义多种机制以及与机制特定的潜在变量，本文证明了对比学习可以在多模式下阻止识别那些在模态之间共享的潜在因素，从而为多模式表示学习提供了理论基础，并说明了在哪些情况下多模式对比学习在实践中有效。
contrastive learningmultimodal learningrepresentation learningidentifiabilitylatent variables
发现论文，激发创造
  • 因式对比学习：超越多视角冗余

    本文提出了 FactorCL，一种新的多模态表示学习方法，旨在捕获有助于下游任务的共享信息和独特信息，该方法通过将任务相关信息分解为共享和独特表示，并通过最大化 MI 下限来捕获任务相关信息以及通过最小化 MI 上限来消除任务不相关的信息，并使用多模态数据增强来近似任务相关性。实验证明 FactorCL 在六项基准测试上取得了最先进的结果。

    Jun, 2023

  • 通过潜在的部分因果模型揭示多模态对比表示学习

    用于多模态数据的统一因果模型，通过线性独立成分分析的方法，可以提高对多模态对比表示学习的理解和分析深度，发现预训练的多模态模型可以通过学习解缠表示来提高其性能和鲁棒性。

    Feb, 2024

  • 对比建模：一种高效的多模态生成模型框架

    通过对比学习，训练多模式生成模型不仅关注多模式信息的共性，还关注相关和非相关的多模式数据之间的区别，使得可以更加有效地利用未标记的、不成对的多模态数据。

    Jul, 2020

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 音频视频领域的对比学习探索

    通过对音频和视频模态的对比学习，研究表明预训练网络在音乐视频的标签和流派分类任务上优于对比学习方法，通过定性分析了解对比学习在音乐视频中的困难并提出未来工作的可能方向。

    Sep, 2023

  • 迈向一个统一的对比学习框架以实现解耦表征

    通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

    Nov, 2023

  • 学习分解的多模式表示

    本文提出一种优化跨多模态数据和标签的联合生成 - 判别目标函数的模型，将表示分解为多模态判别和模态特异性生成两组因子，实验结果表明该模型能够学习到有意义的多模态表示，并取得了领先水平的性能。

    Jun, 2018

  • 从多视角时间序列中识别潜在过程

    本文提出了一种名为 MuLTI 的新型框架，利用对比学习技术来反转数据生成过程以提高可识别性，并采用置换机制通过建立最优传输公式合并相应的重叠变量，从而在合成和真实世界数据集上展示了我们方法在多视图时间序列中恢复可识别潜在变量方面的卓越性能。

    May, 2023

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022