ACLMay, 2023

UniS-MMC: 多模态分类方法，通过单模态监督的多模态对比学习

PDF
TL;DR本文提出了一种新的多模态对比方法，以无单模预测的弱监督下探索更可靠的多模态表示，实验证明该方法优于当前最先进的多模态方法，适用于图像 - 文本分类。
multimodal learningfusion methodscontrastive methodunimodal predictingimage-text classification
发现论文，激发创造
  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 自我监督多任务学习的多模态情感分析中学习特定于感知模式的表示

    本文设计了一个基于自监督学习策略的标签生成模块，通过联合训练多模态和单模态任务来分别学习一致性和差异，采用权重调整策略来平衡不同子任务的学习进度，验证了自动生成的单模态监督标签的可靠性和稳定性，超过了现有的最先进方法和人工注释的单模态标签。

    Feb, 2021

  • 监督多模式学习中的单模式特征学习

    通过提出一种针对多模态学习的目标后融合方法并使用 Uni-Modal Ensemble (UME) 和 Uni-Modal Teacher (UMT) 的策略来得出 Uni-Modal 特征和 paired 特征的分布，可以在各种多模态数据集上实现与其他复杂的后融合或中间融合方法可比的结果。我们证明，缺乏在每个模态上进行 Uni-modal feature learning 的现象将确实损害模型的泛化能力。

    May, 2023

  • 学习未见过的模态交互

    本文针对多模态学习的完备性假设提出挑战，提出一种基于特征投影模块的解决方案，在推理过程中实现对看不见模态的泛化。同时使用伪监督来指示模态的预测可靠性。实验结果表明，该方法对于各种任务和模态具有很好的效果。

    Jun, 2023

  • 自我互信息：通过自监督多任务学习和辅助互信息最大化实现高效多模式融合

    通过自监督学习的方式，利用对比预测编码作为辅助技术最大化单模输入对和多模态融合结果之间的互信息，通过最大化互信息，促进多模态融合与单模态之间更好的对齐，从而提高多模态融合的性能。

    Nov, 2023

  • 多模态语义分割的自监督模型适应

    提出了一种自适应动态融合多模态语义分割框架，采用自监督模型的融合机制来优化融合多模态特征，在物体类别、空间位置和场景上下文方面增强鲁棒性，同时提出了一种计算高效的 AdapNet ++ 单模分割体系结构，并获得了最新的性能。

    Aug, 2018

  • UNIMO：通过跨模态对比学习实现统一模态理解和生成

    本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。实验结果表明，UNIMO 显著改善了几个单模态和多模态下游任务的性能。

    Dec, 2020

  • U3M: 多模态语义分割的无偏多尺度模态融合模型

    我们介绍了 U3M：一种用于多模态语义分割的无偏多尺度模态融合模型，其通过有效提取和整合全局和局部特征，实现了在多个数据集上的优越性能，并证实了在各种环境中增强语义分割的鲁棒性和多样性。

    May, 2024

  • 缺失模态插值的统一多模态图像合成

    该论文提出了一种新的统一的多模式图像综合方法，包括通过生成敌对网络从任意可用模式的组合中合成丢失的模态，并使用共性和差异敏感编码器及动态特征统一模块来提高图像合成质量和适应性，实验结果表明该方法在处理多种综合任务时具有优越的性能。

    Apr, 2023