多模态学习框架：联合建模跨模态和同模态依赖关系

May, 2024

多模态学习框架：联合建模跨模态和同模态依赖关系

A Framework for Multi-modal Learning: Jointly Modeling Inter- & Intra-Modality Dependencies

Divyam Madaan, Taro Makino, Sumit Chopra, Kyunghyun Cho

TL;DR通过提出的 I2M2 框架，我们捕捉并整合了模态间和模态内的依赖关系，从而实现了更精确的预测。在真实世界的医疗和视觉与语言数据集上，我们使用最先进的模型评估了我们的方法，并且表现出优于传统方法的性能，传统方法仅关注一种模态依赖。

Abstract

supervised multi-modal learning involves mapping multiple modalities to a target label. Previous studies in this field have concentrated on capturing in isolation either the inter-modality dependencies (the relat

supervised multi-modal learning inter-modality dependencies intra-modality dependencies generative models i2m2 framework

发现论文，激发创造

多模态图学习的生成任务

多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

Oct, 2023

学习未见过的模态交互

本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

Jun, 2023

多模导向网络用于缺失模态推断

提出了一种通过引导网络在训练阶段促进知识共享，利用多模式表示训练用于推理的更好的单模式模型，以解决存在缺失模式的多模态模型应用受限和过高计算成本的问题。通过真实生活中的暴力检测实验证明，所提出的框架训练的单模式模型明显优于传统训练的模型，并且推理成本相同。

Sep, 2023

IMF：交互式多模态融合模型用于链接预测

该研究提出了一种交互式多模态融合技术，可在保留各自模态特征的同时，更好地融合来自不同模态的知识，以实现更好的链接预测效果，并在多个真实世界数据集上进行了实证评估。

Mar, 2023

无标注多模态数据下的多模态学习：保证和应用

本研究通过信息论方法对半监督学习中多模态交互的量化和分析，提出自下界和自上界的措施，并探讨了两个半监督多模态应用

Jun, 2023

联合训练大型自回归多模态模型

近年来，语言和文本到图像模型的大规模预训练的进步已经革新了机器学习领域。然而，将这两种模态集成到一个能够生成无缝多模态输出的强大模型仍然是一个重大挑战。为了解决这个问题，我们提出了联合自回归混合（JAM）框架，这是一种模块化的方法，系统地融合了现有的文本和图像生成模型。我们还引入了一种专门的、高效的数据调优策略，为混合模态生成任务量身定制。我们最终调优的模型在生成高质量多模态输出方面表现出了无与伦比的性能，并且代表了首个明确设计用于此目的的模型。

Sep, 2023

多模态情感分析中的单模编码和跨模态预测的多模态对比学习

本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022

监督多模式学习中的单模式特征学习

通过提出一种针对多模态学习的目标后融合方法并使用 Uni-Modal Ensemble (UME) 和 Uni-Modal Teacher (UMT) 的策略来得出 Uni-Modal 特征和 paired 特征的分布，可以在各种多模态数据集上实现与其他复杂的后融合或中间融合方法可比的结果。我们证明，缺乏在每个模态上进行 Uni-modal feature learning 的现象将确实损害模型的泛化能力。

May, 2023

多模态情感识别和情感分析的多任务学习

本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

May, 2019

I2SRM: 跨样本关系建模用于多模态信息提取

该论文介绍了用于多模态信息提取的 Intra- and Inter-Sample Relationship Modeling (I2SRM) 方法，其中包含两个模块：内部样本关系建模模块和样本之间关系建模模块。通过在单个样本上操作来学习有效的表示，并提出了 AttnMixup 策略来改善泛化性能，在多模态实体识别数据集和多模态关系抽取数据集上进行了广泛实验，表明该方法取得了竞争性的效果。

Oct, 2023