利用多模态数据和物理约束来发现具有因果关系的重要特征的因果表示学习算法（causalPIMA）。通过可微分参数化和单个可追踪证据下限损失函数，在完全无监督的设置中学习变分自动编码器的有向无环图（DAG）的潜在空间，同时学习一种高斯混合先验和一种新的结构指示因果关系的特征发现方法。测试结果表明，可以在完全无监督的设置中学习可解释的因果结构并同时发现关键特征。

Oct, 2023

本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022

我们提出了一个统一的框架来研究从同时观察到的多个视图（如不同的数据模态）中学习到的表征的可识别性。我们允许部分观察的设置，其中每个视图都由一些潜在变量的子集的非线性混合构成，这些潜在变量可以有因果关系。我们通过对比学习和每个视图的单个编码器证明，任意数量的视图的所有子集共享的信息可以通过平滑双射进行学习。我们还提供了图形判据，指示哪些潜在变量可以通过一组简单的规则进行识别，我们称之为可识别代数。我们的总体框架和理论结果统一并扩展了关于多视图非线性 ICA、解缠和因果表示学习的几项先前工作。我们在数字、图像和多模态数据集上实验证实了我们的论述。此外，我们证明了我们设置的不同特殊情况下先前方法的性能可以得到恢复。总的来说，我们发现在部分可观察性的一般性较弱的假设下，获取多个部分视图有助于识别更精细的表征。

Nov, 2023

通过定义多种机制以及与机制特定的潜在变量，本文证明了对比学习可以在多模式下阻止识别那些在模态之间共享的潜在因素，从而为多模式表示学习提供了理论基础，并说明了在哪些情况下多模式对比学习在实践中有效。

Mar, 2023

本文提出了 FactorCL，一种新的多模态表示学习方法，旨在捕获有助于下游任务的共享信息和独特信息，该方法通过将任务相关信息分解为共享和独特表示，并通过最大化 MI 下限来捕获任务相关信息以及通过最小化 MI 上限来消除任务不相关的信息，并使用多模态数据增强来近似任务相关性。实验证明 FactorCL 在六项基准测试上取得了最先进的结果。

Jun, 2023

我们提出了三种构建潜在模态结构的通用方法，涵盖了深度特征分离，布朗桥损失和几何一致性损失，通过广泛的实验在多个任务上获得一贯的性能提升。

Mar, 2023

使用 Multimodal Understanding Through Correlation Maximization and Minimization（MUCMM） 框架，该框架可以轻松地嵌入到任何预训练网络中，学习模态数据的常见和个体表示，根据提出的方法，通过可视化分析过程给出了 MUCMM 学习结构化潜在表示的解释。

May, 2023

本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

Oct, 2022

本文提出了一种用于跨多个模态学习的训练有效方法 C-MCR，无需成对训练数据，通过在重叠的模态 B 上对现有的 MCR 进行连接和对齐，实现了跨模态匹配，进一步引入语义增强技术以提高准确性。将该方法应用于视听对比性学习，不仅无需使用成对数据，还可以在多个数据集上获得最先进的性能表现。

May, 2023

通过同时利用内部数据属性和跨模态关联的语义信息，开发了一种学习视觉表示形式的方法，其中包括多种类型的对比损失，从而提高了学习到的视觉表示的质量。该方法在 COCO 数据集上进行训练，可以被用于图像分类、目标检测、实例分割等下游任务，并在 ImageNet 数据集上实现了 55.3% 的顶级验证精度。

Apr, 2021