May, 2021

混合语言对话中的多模态讽刺检测和幽默分类

PDF
TL;DR本研究开发了一个多模态的印地语 - 英语混合数据集用于会话中的多模态讽刺检测和幽默分类，并提出了一种新的基于注意力机制的神经架构 MSH-COMICS，该模型在两个任务中都具有优越性能。
sarcasm detectionhumor classificationcode-mixed datasetneural architecturehindi-english
发现论文，激发创造
  • 多模态讽刺检测：基于分层一致性建模与知识增强的研究

    本文提出了一种基于层次结构的检测方法，通过多头交叉注意力机制和图神经网络同时探索文本和图像之间的原子级一致性和组成级一致性，利用丰富的外部知识资源进行讽刺检测，评估结果表明该模型优于现有的技术。

    Oct, 2022

  • 多模态讽刺检测（一篇_显然_完美的论文）

    本文提出了一个基于多模态线索的新的讽刺数据集 (MUStARD)，并且证明了将多模态信息应用于讽刺检测可以将相对误差率降低高达 12.9%。

    Jun, 2019

  • 英汉混排社交媒体内容幽默检测：语料库和基线系统

    本文主要介绍了自动检测文本中幽默的困难性，分析了社交媒体文本中语言混合对幽默检测的挑战，提出了一种基于英语 - 印地混合语的幽默检测技术，并提供了基于此技术的分类系统。

    Jun, 2018

  • MMSD2.0: 面向可靠多模态讽刺检测系统

    介绍了 MMSD2.0 数据集用于多模态讽刺检测问题，引入了利用多视角（文本、图像、文本图像交互视角）的多粒度线索的新框架 multi-view CLIP，实验证明 MMSD2.0 是构建可靠的多模态讽刺检测系统的有价值的基准，可以显著优于以前的最佳基准线。

    Jul, 2023

  • DocMSU: 文档级多模态讽刺理解的综合性基准

    本研究提出了一个用于文档级多模式讽刺理解的全面基准测试，并引入了细粒度的讽刺理解方法，有效地将图像特征与文本特征在文档中进行对齐，实验证明该方法可以作为具有挑战性的 DocMSU 的基线方法。

    Dec, 2023

  • 英印混合代码推文语料库用于讽刺检测

    通过英 - 印混合码数据集，我们开发了一个基于随机森林分类器并进行了 10 折交叉验证的基线监督分类系统，该系统可以检测到社交媒体上的文字中的反讽，并标记每个标记的语言标签。该系统平均得分为 78.4%。

    May, 2018

  • 基于量子概率的联合多模态讽刺、情感和情绪分析框架

    本文提出一种基于量子概率的多模态讽刺、情感和情绪分析框架（QUIET），通过在两个数据集上进行大量实验，证明了 QUIET 与现有技术相比的有效性和优越性，并展示了量子概率在多情感分析中的巨大潜力。

    Jun, 2023

  • 视听中的讽刺：提升多模式讽刺检测的基准和扩展

    使用 MUStARD++ 数据集进行多模态严格基准测试，考虑最先进的语言、语音和视觉编码器，充分利用其多模态丰富性，实现超过现有基准的 2％宏平均 F1 值的改善；此外，提出了称为 MUStARD++ 平衡的扩展来解决 MUStARD++ 中 `sarcasm type` 类别的不平衡问题，通过将扩展中的实例分布于训练和测试集，进一步提升 2.4％的宏平均 F1 值。新的片段来自于电视节目 House MD，丰富了数据集的多样性，并由多名注释者进行了手动注释，根据 Cohen's kappa 和 Krippendorf's alpha 的显著的注释者一致性进行了注释。我们的代码、扩展数据和 SOTA 基准模型已经公开。

    Sep, 2023

  • 情感识别讽刺言语的多模态语料库

    本论文针对识别嘲讽表达中的情感这一未被探索的任务，使用了最近发布的多模态嘲讽检测数据集（MUStARD）进行研究，并修正了其中的错误标签，最终将数据集标记上情感、情感强度和具体嘲讽类型，并提出多模态融合模型，用于嘲讽情感识别，表现优于现有的技术水平。

    Jun, 2022

  • ¡ 太神奇了！西班牙语中的多模式讽刺检测：数据集和基线

    构建了第一个西班牙语多模态讽刺数据集，其中包括两种西班牙语变体。通过将文本对齐到视频和音频，我们呈现了用于讽刺检测的几种模型。结果表明，结合文本、音频和视频的所有模态可以得到最佳结果。

    May, 2021