ACLJun, 2022

SemEval-2022 任务 5：多模态多变压器厌恶女性主义迷因分类框架的编解码器

PDF
TL;DR该论文描述了他们在 SemEval 2022 竞赛的任务 5（多媒体自动仇恨辨别）中，构建通用框架以处理多模式嵌入和多标签二进制分类任务的工作。为了避免深度模型从零开始的资源和数据饥饿问题，作者采用三种主要策略，即组合不同的先进架构来捕捉来自多模态输入的广泛语义信号，采用多任务学习模式来利用来自同一领域的多个数据集以提高模型性能以及使用多个目标来规范和微调不同的系统组件。
multi-modal embeddingmulti-label binary classificationdeep modelsmulti-task learningsemeval
发现论文，激发创造
  • AMS_ADRN 在 SemEval-2022 任务 5 中：一种适合的图文多模态联合建模方法用于多任务厌女症鉴别

    本文描述了我们团队在 SemEval-2022 任务 5 中开发的自动鄙视女性言论辨识系统，该系统采用了 Bertweet 和 ResNet-18 等多种模型进行文本和图像分析，取得了较好的分类效果，排名 15 和 11 位。

    Feb, 2022

  • RubCSG 在 SemEval-2022 任务 5 中：集成学习用于识别具有攻击性的米姆图像

    本文提出了一种基于多种单模态和双模态模型结构的集合系统，旨在通过 SemEval 2022 Task 5 数据集对多媒体中的自动仇恨检测进行建模，并实现了一个新的模型融合网络和集成学习方法来获得更好的性能。该系统在 sub-task A 中实现了 0.755 的宏平均 F1 分数（第 11 名），在 sub-task B 中实现了 0.709 的加权平均 F1 分数（第 10 名）。

    Apr, 2022

  • SemEval-2022 任务 5 中的 TIB-VA: 用于检测和分类具有厌女症倾向的 Meme 的多模态架构

    本文提出了一种多模态架构，通过结合文本和视觉特征来检测具有女性仇恨倾向的 Internet 媒体，该解决方案在 SemEval-2022 Task 5：MAMI 挑战中所取得的最佳的成绩，其中包括对有羞辱、刻板印象、物化和暴力等亚类的分类。

    Apr, 2022

  • 早期融合模型与图网络检测厌女言论的模因

    本文针对近年来社交媒体上出现的对女性的在线骚扰现象，提出了一种基于图文混合的早期融合模型，用于预测和识别女性歧视性迷因。该模型利用预训练语言模型和图像模型，以有效地获取图像表示。经过实验验证，模型在 SemEval-2022 任务 5 中表现出良好的竞争力和优越的性能。

    Mar, 2022

  • UPB 在 SemEval-2022 任务 5 中：利用图像情感和图卷积网络增强 UNITER，用于多媒体自动骚扰辨识

    本文描述了我们提交到 SemEval-2022 Task 5 的分类系统，旨在通过分析文本和 meme 图像一起识别多方面的厌恶内容，我们提出了两种基于预训练 UNITER 模型的模型和一种基于词表图卷网络的模型，并探索了一个集合方法，我们最好的模型在 Sub-task A 达到 71.4% 的 F1 值，在 Sub-task B 达到 67.3％的 F1 值，这将我们的团队排在排行榜的前三分之一。我们在 GitHub 上发布了我们的代码和实验。

    May, 2022

  • 多模态情感识别和情感分析的多任务学习

    本文介绍了一个深度多任务学习框架，通过上下文级别的视听注意力机制来同时进行情感和表情分析，并在 CMU-MOSEI 数据集上达到了新的最佳性能。

    May, 2019

  • 阿拉伯社交媒体上的深度多任务模型用于对女性仇恨的识别和分类

    社交媒体上有毒内容的普及，如仇恨言论、冒犯性语言和厌女症，已经引起了自然语言处理领域的广泛关注。本文介绍了首个阿拉伯语厌女症识别任务的提交系统，并研究了基于预训练 MARBERT 语言模型的多任务学习模型和单任务对应模型。而所有提交的模型在厌女症识别和分类任务中都取得了最佳表现（排名前三）。

    Jun, 2022

  • SemEval-2023 任务 10 中的 LCT-1: 预训练和多任务学习用于性别歧视检测和分类

    这篇论文讲述了如何提高对网络性别歧视检测的可解释性，并对比了单一任务和多任务学习在不同子任务下的表现。

    Jun, 2023

  • SemiMemes: 一种用于多模态 Memes 分析的半监督学习方法

    本篇研究提出一种多模态半监督学习方法，可用于探测社交媒体上的恶意图片，该方法结合了自动编码器和分类任务，通过 Contrastive Language-Image Pre-training 实现。在两个数据集上，该方法表现优于其他多模态半监督学习和有监督学习的现有模型。

    Mar, 2023

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021