May, 2024
CofiPara:一种用于大规模多模态模型的粗糙 - 精细范式的多模态讽刺目标识别方法
CofiPara: A Coarse-to-fine Paradigm for Multimodal Sarcasm Target Identification with Large Multimodal Models
Hongzhan Lin, Zixin Chen, Ziyang Luo, Mingfei Cheng, Jing Ma...
TL;DR本文提出了一个多模态讽刺目标识别框架,采用从粗到细的方法,通过推理和预训练知识增强讽刺可解释性,在多模态讽刺中揭示复杂目标并减轻大型多模态模型潜在噪声的负面影响。实验结果表明,我们的模型在 MSTI 方法上表现出色,并在识别讽刺方面具有解释性。