分解式多模态主题模型
本文提出了首次系统全面评估多模式主题建模的方法，并提出了两个新的主题建模解决方案和两个新的评估指标。通过对数据集的评估，我们发现我们的模型都能生成连贯且多样化的主题。然而，一个方法优于另一个方法的程度取决于评估指标和数据集的组合，这表明未来需要进一步探索混合解决方案。值得注意的是，我们简明的人工评估与我们提出的评估指标结果一致，这不仅强化了评估指标的可信度，也突出了其在引导未来多模式主题建模研究中的潜力。
Mar, 2024
该论文提出了一种修改的潜在主题模型，通过引入新的先验知识在共享类别和私有类别方差的基础上分别编码，从而使模型更好地利用有监督和提高数据分类推断性能。该方法可以获得更有效的推理结果，并可以更直观地解释数据的信号和结构化噪声。在图像分类领域中表现良好。
Jan, 2013
用于多模态数据的生成模型可用于识别与观察数据异质性重要决定因素相关的潜在因素。然而，存在一些变量是特定于单个模态的私有变量，而共享变量对解释多模态数据的变异性很重要。本研究探讨了多模态变分自编码器在可靠地实现这种解缠的能力方面，针对一种挑战性的问题设置，其中模态特定变异占主导地位，并提出了一种修改方法，使其对模态特定变异更加鲁棒。我们的发现得到了合成数据和多种真实世界多组学数据集的实验证实支持。
Mar, 2024
本文提出一种优化跨多模态数据和标签的联合生成 - 判别目标函数的模型，将表示分解为多模态判别和模态特异性生成两组因子，实验结果表明该模型能够学习到有意义的多模态表示，并取得了领先水平的性能。
Jun, 2018
该论文提出了一种基于耦合字典学习的多模态图像处理框架，能够在所学的稀疏变换域中捕捉不同图像模态之间的相似性和差异性，并能够用于改善图像处理任务，如图像去噪。
Jun, 2018
使用 Multimodal Understanding Through Correlation Maximization and Minimization（MUCMM） 框架，该框架可以轻松地嵌入到任何预训练网络中，学习模态数据的常见和个体表示，根据提出的方法，通过可视化分析过程给出了 MUCMM 学习结构化潜在表示的解释。
May, 2023
本文提出了相关话题模型（CTM），通过逻辑正态分布，展现留言比例的相关性，我们还推导出了适用于该模型的快速变分推理算法，并将其应用于 Science 1990-1999 年间发表的文章，数据集包括 57M 词，证明 CTM 比 LDA 拟合效果更好，并将其作为大型文本集成探索性工具。
Aug, 2007
该研究提出了一种 MODEST（MOdality DEcorrelating STable）学习框架，采用基于核的独立性检验测量方式，以学习用户对多媒体内容中不同模态的偏好，提高多媒体推荐性能。
Jun, 2023
本研究提出了一种基于深度学习的多模态情感分析的表示学习方法，使用协方差矩阵来捕捉模态之间的共享信息，同时采用基于自监督学习策略的标签生成模块来捕捉模态的私有信息，并使用多任务学习来帮助模型关注模态差异训练数据。实验结果表明，该方法在多个公共数据集上表现优于现有的同类方法。
May, 2023