- 解读仇恨:辨识仇恨迷因及其目标
提出 Bengali Hateful Memes(BHM)数据集以及用于检测恶意表情包和识别相关社会实体的 DORA 模型,该模型在低资源恶意表情包数据集上表现出色。
- ACL模因分析:通过多模态解释增进对网络欺凌的认识
通过提出多模式解释与 CLIP 投影的多模式共享私有多任务方法,首次为混合代码网络欺凌迷因引入了一种鲜明的基准数据集,并通过实验结果证明,训练多模式解释可以提高生成文本解释的性能,并更准确地识别支持决策的视觉证据,从而可靠地提升性能。
- 在社交媒体平台上对互联网迷因进行语境化
探索使用知识图谱来调查互联网迷因在社交媒体上的发布与流行,并借助知识图谱映射的概念来研究迷因在不同平台上的普及度、发现流行迷因以及选择常见迷因渠道和子论坛,并演示如何通过与知识图谱的关联,帮助用户获得社交媒体上迷因的背景信息。
- GPT 是否具备分析表情包情感的能力?
本研究旨在探索 GPT-3.5 作为大型语言模型在处理互联网迷因情感分析方面的能力,包括迷因情感分类、幽默类型确定和隐性仇恨迷因检测。评估结果表明,尽管 GPT 取得了显著进展,但仍然面临内在限制,包括对上下文的理解、隐含含义的解释和数据偏 - 单模态中间训练用于多模态的迷因情感分类
借助图像和文本数据的非模态(仅图像和仅文本)的情感标记数据,提出了一种针对多模态网络迷因的分类器的监督中间训练的新方法,并证明了在模型性能不降低的情况下能够减少 40% 的已标记迷因训练集。
- 多模态空间编码和面部嵌入增强的 Meme 情感分析
本文介绍了一种针对互联网模因的多模态分类方法,通过考虑图像和文本之间的相对位置和面部嵌入来提高自动分类的准确性,实验结果表明,该方法优于传统基于 OCR 提取文本的分类方法
- 多模态和可解释的网络模因分类
本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难,旨在设计实现一个多模态分类方法,利用文本和图像来识别有害的网络谣言,通过举例和原型推理比较示范算法之间的性能差异,为社区提供启发,同时设计一种用户友好 - ACLDISARM: 检测受有害模因攻击的受害者
该研究提出了一种名为 DISARM 的框架,它使用命名实体识别和个人识别来检测矫捷表达中的所有实体,并且可以识别其是否会造成伤害,通过在三个测试设置上进行系统实验,该模型相对其他模型表现较为稳定。
- Meme 中视觉 - 语言隐喻中的宣传手法检测
本文介绍了一种基于深度学习多模态融合系统的方法,以检测社交媒体互联网模因中存在的宣传内容,并在图像和文本分类中表现出优异性能。
- 构建与互联网迷因融合的开放领域对话系统
本文研究了互联网用户在在线聊天中使用互联网梗的行为,并提出了一个综合方案,利用大规模预训练的对话模型进行响应生成,基于交互式文本匹配检索适当的互联网梗以及实现对话情感流的建模并且通过情感描述预测辅助任务提高互联网梗情感分类性能。在 MOD - 检测有害模因及其攻击目标
本研究提出了两种新的问题定义:检测有害的互联网模因及其攻击的社会实体,并提供了 HarMeme 数据集。评估结果表明,使用多模态信号对这两个任务都很重要,但是需要进一步研究来解决现有模式的局限性。
- 面向表达性互联网模因通信:一种新的多模态对话数据集和基准
本研究提出了一个新的任务 MOD,该任务需要模型能够理解多模态元素和其背后的情感,为此建立了一个大规模的开放域多模态对话数据集,其中包含约 45K 个对话和 606K 个话语,平均每个话语都包含 4 个互联网模因,并用相应的情感进行了注释。 - UPB 在 SemEval-2020 任务 8 中:多任务学习体系结构中的文本和视觉建模用于情感分析
本研究介绍了一个新颖的多模式多任务学习架构,该架构将 ALBERT 文本编码与 VGG-16 图像表示相结合,可用于分析互联网迷因,该方法在 SemEval-2020 Task 8 比赛的三个子任务中,均超过了官方基线结果。
- SemEval-2020 任务 8:情感分析 -- 视觉语言隐喻!
该研究针对社交媒体上流行的多模式互联网模因进行情感分析,人工标注了约 10,000 条模因标签,并涵盖情感和情感类型(讽刺,有趣,冒犯,积极影响)及其相应的强度,三项任务中分别取得了 F1 得分的最佳表现分别为 0.35、0.51 和 0. - 像素中的仇恨言论:自动化检测攻击性模因以便自动管理
本研究旨在使用视觉信息自动检测互联网迷因中的仇恨言论。研究结果表明,在迷因中,视觉模态比语言模态更具信息量,但是仍然存在局限性。
- 通过边缘网络社群来解析梗的起源
本研究使用感知哈希和聚类分析技术,并以 13 个月内从 Twitter、Reddit、4chan 和 Gab 收集的 26 亿帖子和 1.6 亿张图像的数据集为基础,检测和量化了多个网络社区间的互动传播效果,揭示了网络社区间恶意并极具争议的