Jun, 2024

使用多模式分层交叉注意力模型标记在线视频中的喜剧恶作剧内容

PDF
TL;DR我们提出了一种新颖的端到端多模态系统用于探测在线媒体中的可疑内容，特别是针对喜剧恶作剧这一子类别。
questionable contentonline mediacomic mischiefmultimodal systemend-to-end
发现论文，激发创造
  • 音视融合技术增强儿童视频多模态内容审核

    针对面向儿童的视频内容创作数量的增加，需要强大的视频托管平台内容审核方案。我们提出了一种有效的 CLIP 适应方法，利用上下文音频提示来增强内容审核，通过冻结各个模态的背景模块，将音频模态和提示学习融合，对多模态版本的恶意或良性数据集进行了实验。

    May, 2024

  • 对齐先于关注：为多模态仇恨内容检测对齐视觉和文字特征

    提出了一种上下文感知的注意力框架用于多模态仇恨内容检测，对英语和非英语语言进行了评估，并通过对 MUTE 和 MultiOFF 数据集的 F1 分数进行评估，证明了该方法的有效性。

    Feb, 2024

  • 混合语言对话中的多模态讽刺检测和幽默分类

    本研究开发了一个多模态的印地语 - 英语混合数据集用于会话中的多模态讽刺检测和幽默分类，并提出了一种新的基于注意力机制的神经架构 MSH-COMICS，该模型在两个任务中都具有优越性能。

    May, 2021

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021

  • 多模态和可解释的网络模因分类

    本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

    Dec, 2022

  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020

  • 多模态讽刺检测：基于分层一致性建模与知识增强的研究

    本文提出了一种基于层次结构的检测方法，通过多头交叉注意力机制和图神经网络同时探索文本和图像之间的原子级一致性和组成级一致性，利用丰富的外部知识资源进行讽刺检测，评估结果表明该模型优于现有的技术。

    Oct, 2022

  • 利用图像和文本的联合嵌入进行多媒体语义完整性评估

    本文提出了一种基于深度学习的、用于评估包含图像和标题的多媒体包的语义完整性的方法，这样可以检测包的操纵，他们利用一个引用数据集创建图像和标题的联合嵌入，并提供了图像 - 标题一致性得分。作者们还提出了 MultimodAl 数据操纵数据集 (MAIM)，用来验证这种方法的性能。在检测语义不一致的媒体包方面，本方法的 F1 得分分别为 0.75、0.89 和 0.94。

    Jul, 2017

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • FunnyNet-W：野外视频中的多模态学习有趣时刻

    通过跨和自注意力模型，FunnyNet-W 使用视频中的视觉、音频和文本数据，预测出有趣的时刻，同时提出了一种无监督方法来获取训练标签。实验结果表明，FunnyNet-W 成功地利用了视觉、听觉和文本线索来识别有趣的时刻，并在各个数据集上创造了有趣时刻检测的新的最佳成果。

    Jan, 2024