Sep, 2023
基于交换的多模态融合和转换器
Exchanging-based Multimodal Fusion with Transformer
Renyu Zhu, Chengcheng Han, Yong Qian, Qiushi Sun, Xiang Li...
TL;DR本研究探讨多模态融合的问题,提出一种基于 Transformer 的新型文本 - 图像融合模型 MuSE,并通过 CrossTransformer 在多模态之间交换知识。在 Multimodal Named Entity Recognition 和 Multimodal Sentiment Analysis 任务中,MuSE 显示出更优越的性能。