Nov, 2022

如何更有趣地描述图片？走向跨模态反讽生成的模块化方法

PDF
TL;DR本研究通过运用 EGRM 模块化方法和排序算法，提出了一种在缺少配对数据的情况下从图像生成讽刺描述的新方法，并通过人工评估和辅助自动评估证明了其优越性。
cross-modal sarcasm generationegrmimage-to-text generationmodular methodranking algorithm
发现论文，激发创造
  • 多模态讽刺检测：基于分层一致性建模与知识增强的研究

    本文提出了一种基于层次结构的检测方法，通过多头交叉注意力机制和图神经网络同时探索文本和图像之间的原子级一致性和组成级一致性，利用丰富的外部知识资源进行讽刺检测，评估结果表明该模型优于现有的技术。

    Oct, 2022

  • 多源语义图基础的多模态讽刺解释生成

    该研究提出了一种名为 TEAM 的新的、基于多源语义图的多模态讽刺解释方案，从输入图像中提取对象级语义元数据，使用 ConceptNet 获取外部相关知识概念，并引入多源语义图来全面描述多源语义关系，以促进讽刺推理。

    Jun, 2023

  • 好香的香水。你泡在里面泡了多久？多模态的讽刺解释

    该论文提出了一个新的问题：多模态讽刺解释（MuSE），旨在针对一个带有图像和标题的多模态讽刺贴文，生成自然语言解释以揭示意图的讽刺。通过使用一个跨模态注意力的 Transformer 编码器，并使用 BART 的自回归解码器作为生成器，该论文提供了一个 Multimodal 讽刺解释数据集，并以各种基线进行了实证结果评估。

    Dec, 2021

  • CofiPara：一种用于大规模多模态模型的粗糙 - 精细范式的多模态讽刺目标识别方法

    本文提出了一个多模态讽刺目标识别框架，采用从粗到细的方法，通过推理和预训练知识增强讽刺可解释性，在多模态讽刺中揭示复杂目标并减轻大型多模态模型潜在噪声的负面影响。实验结果表明，我们的模型在 MSTI 方法上表现出色，并在识别讽刺方面具有解释性。

    May, 2024

  • MMSD2.0: 面向可靠多模态讽刺检测系统

    介绍了 MMSD2.0 数据集用于多模态讽刺检测问题，引入了利用多视角（文本、图像、文本图像交互视角）的多粒度线索的新框架 multi-view CLIP，实验证明 MMSD2.0 是构建可靠的多模态讽刺检测系统的有价值的基准，可以显著优于以前的最佳基准线。

    Jul, 2023

  • 混合语言对话中的多模态讽刺检测和幽默分类

    本研究开发了一个多模态的印地语 - 英语混合数据集用于会话中的多模态讽刺检测和幽默分类，并提出了一种新的基于注意力机制的神经架构 MSH-COMICS，该模型在两个任务中都具有优越性能。

    May, 2021

  • 多模态社交平台中的讽刺检测

    分析社交媒体上多模态信息中，表面情感和隐含情感之间的关系，探究图像在人类注释中的必要性，并提出了两种不同的计算框架来检测其中的讽刺色彩。结果表明，结合多模态信息的检测方法在各平台上均取得了良好的效果。

    Aug, 2016

  • 用情感反转和语义不协调生成带讽刺意味的表情符号语句

    论文提出一种新颖的基于 Emoji 的讽刺生成方法，通过将生成任务分为文本和 Emoji 收集两个子任务，运用相反情感和语义不协调等两个元素来生成文本讽刺，最后通过人工评估验证其可行性。

    May, 2023

  • UTNLP 参加 SemEval-2022 任务 6：基于生成式和变异式数据增强的讽刺检测比较分析

    本文介绍了 UTNLP 团队在 SemEval-2022 共享任务 6 中进行讽刺性评论检测的方法和结果，对比了不同模型和数据增强方法的效果，最后使用 RoBERTa 和数据突变增强的方法取得了最佳结果。

    Apr, 2022

  • 在多模态对话中解释（讽刺性）话语以提高情感理解能力

    本文介绍了使用 MOSES 模型对于含有讽刺言语的对话进行 Sarcasm Explanation，以及在此基础上实现的 Sarcasm detection, humour identification, 和 emotion recognition 等自然语言理解任务，并且通过各种评估指标展示了该模型的优越性。

    Nov, 2022