该论文提出了一个新的问题：多模态讽刺解释（MuSE），旨在针对一个带有图像和标题的多模态讽刺贴文，生成自然语言解释以揭示意图的讽刺。通过使用一个跨模态注意力的 Transformer 编码器，并使用 BART 的自回归解码器作为生成器，该论文提供了一个 Multimodal 讽刺解释数据集，并以各种基线进行了实证结果评估。

Dec, 2021

本研究提出了一个用于文档级多模式讽刺理解的全面基准测试，并引入了细粒度的讽刺理解方法，有效地将图像特征与文本特征在文档中进行对齐，实验证明该方法可以作为具有挑战性的 DocMSU 的基线方法。

Dec, 2023

本文提出了一种基于层次结构的检测方法，通过多头交叉注意力机制和图神经网络同时探索文本和图像之间的原子级一致性和组成级一致性，利用丰富的外部知识资源进行讽刺检测，评估结果表明该模型优于现有的技术。

Oct, 2022

本文提出了一个多模态讽刺目标识别框架，采用从粗到细的方法，通过推理和预训练知识增强讽刺可解释性，在多模态讽刺中揭示复杂目标并减轻大型多模态模型潜在噪声的负面影响。实验结果表明，我们的模型在 MSTI 方法上表现出色，并在识别讽刺方面具有解释性。

May, 2024

本研究通过运用 EGRM 模块化方法和排序算法，提出了一种在缺少配对数据的情况下从图像生成讽刺描述的新方法，并通过人工评估和辅助自动评估证明了其优越性。

Nov, 2022

本文提出了一个基于多模态线索的新的讽刺数据集 (MUStARD)，并且证明了将多模态信息应用于讽刺检测可以将相对误差率降低高达 12.9%。

Jun, 2019

介绍了 MMSD2.0 数据集用于多模态讽刺检测问题，引入了利用多视角（文本、图像、文本图像交互视角）的多粒度线索的新框架 multi-view CLIP，实验证明 MMSD2.0 是构建可靠的多模态讽刺检测系统的有价值的基准，可以显著优于以前的最佳基准线。

Jul, 2023

本研究开发了一个多模态的印地语 - 英语混合数据集用于会话中的多模态讽刺检测和幽默分类，并提出了一种新的基于注意力机制的神经架构 MSH-COMICS，该模型在两个任务中都具有优越性能。

May, 2021

MuSe 2024 是一个多模态情感分析挑战，包括社交感知和跨文化幽默检测两个子挑战。它旨在促进多个研究领域的专家之间的合作交流，提高情感分析和情感计算在多模态中的理解和应用。本文介绍了每个子挑战及其相应数据集的细节，从每个数据模态提取特征，并讨论了各子挑战的基线表现。

Jun, 2024

本文介绍了在 MuSe 挑战赛 2022（包括 MuSe-Humor，MuSe-Reaction 和 MuSe-Stress 子挑战赛）中使用 TEMMA 和 GRU 自注意机制框架提取各种多模态特征，并融合这些特征来提高准确性并预测情感，同时进行数据增强和处理处理样本不均衡的问题。我们模型在三个子挑战中均取得了优秀的表现。

Aug, 2022