COLINGMar, 2024

多模态语义理解与对比跨模态特征对齐

PDF
TL;DR本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。
multi-modal semantic understandingdual-encoder structurecross-modal feature alignmentclip-guided contrastive-learning-based architecturemulti-modal sentiment analysis
发现论文，激发创造
  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • CLMLF：用于多模态情感检测的对比学习和多层融合方法

    该论文提出了一种用于多模态情感检测的对比学习和多层融合（CLMLF）方法，通过对文本和图像进行隐藏表征编码，设计了两个对比学习任务，标签对比学习和数据对比学习，有助于模型学习多模态数据中与情感相关的共同特征。在公开数据集上进行的大量实验证明了该方法与现有方法相比，在多模态情感检测方面具有很好的效果。

    Apr, 2022

  • CLIP 的多模态多标签分类

    设计一个学习算法来处理图像和文本两个数据源，通过使用对比语言图像预训练作为特征提取器并探索不同的分类头、融合方法和损失函数来学习全面的语义特征表示，最终在公共 Kaggle 竞赛排行榜上获得超过 90% 的 F_1 分数。本文通过实验结果提供了新的训练方法和定量分析的详细描述。

    Jun, 2024

  • MMSD2.0: 面向可靠多模态讽刺检测系统

    介绍了 MMSD2.0 数据集用于多模态讽刺检测问题，引入了利用多视角（文本、图像、文本图像交互视角）的多粒度线索的新框架 multi-view CLIP，实验证明 MMSD2.0 是构建可靠的多模态讽刺检测系统的有价值的基准，可以显著优于以前的最佳基准线。

    Jul, 2023

  • 基于对比学习的多层交叉模态特征对齐，用于遥感图像场景的零样本分类

    本文提出了一种通过对比学习进行多层次交叉模态特征对齐的方法，以用于遥感图像场景的零样本分类，实验结果表明该方法优于目前现有的零样本遥感图像场景分类方法。

    May, 2023

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 从共享对比语言图像预训练中学习视觉表征

    本篇研究探讨使用 transformer 模型进行多模态对比预训练的方法，发现优于原始的 CLIP 方法，并且支持参数量的降低，通过共享参数，实现了不同模态之间的信息交互和相近语义结构的转移。

    Jul, 2022

  • 自适应交叉模态少样本学习

    本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。

    Feb, 2019

  • 跨模态门控注意力融合用于多模态情感分析

    提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

    Aug, 2022

  • 多级交叉模态对齐图像聚类

    我們提出了一種多層次跨模態對齊方法，通過在三個層次（即實例級別、原型級別和語義級別）建立一個更小但更好的語義空間，對跨模態預訓練模型中的對齊進行改進，以提高下游任務的性能。實驗結果清楚地表明了我們新方法的優越性。

    Jan, 2024