Jun, 2024

OSPC: 使用大型语言模型作为催化剂检测有害的网络迷因

PDF
TL;DR通过图像字幕、OCR 和大型语言模型 (LLM) 分析来检测有害的 Internet 恶搞图片，并在新加坡的多元文化和多语言环境中实现对有害 MEME 的综合理解和分类。
memesharmful contentmulticulturalmultilingualsingapore
发现论文，激发创造
  • 揭示具多模态推理所精炼之大型语言模型背后的有害迷因

    本论文提出了一种基于多模态信息相互作用的先进推理的检测有害模因的方法，通过利用大型语言模型的推理能力和生成框架，实现了对有害模因的优化检测。实验证明该方法在有害模因检测任务上表现优于现有方法。

    Dec, 2023

  • 大规模视觉语言模型中的多模态违法言论检测与纠正

    本研究探讨了使用视觉语言模型进行仇恨表情包检测和修正任务的能力，并通过实证实验证明了预训练的 LLaVA 模型在这些任务中的有效性和讨论了其优缺点。

    Nov, 2023

  • 通过大规模语言模型之间的多模态辩论实现可解释的有害表情包检测

    通过基于大型语言模型的多模态辩论和小型语言模型的调优，我们提出了一种可解释的方法来检测有害的互联网迷因，使模型能够对模糊和隐含的危害模式进行辨别，并提供可视化的解释。

    Jan, 2024

  • 使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

    Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

    Dec, 2020

  • hate-alert@DravidianLangTech-ACL2022: 集成多模态技术用于泰米尔语嘲讽 Meme 分类

    我们探索了多种模型来检测泰米尔语中的僵尸谷迷因，发现基于图像的模型 VGG16 在检测僵尸谷迷因上表现优异，但基于文本的模型 MURIL 在检测非僵尸谷迷因上表现更好，将这两种模型结合起来，我们达到了稳定的结果并在 ACL-2022 的 “DravidianLangTech2022” 中排名第二，实现了加权平均 F1 得分为 0.561。

    Mar, 2022

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 检测有害模因及其攻击目标

    本研究提出了两种新的问题定义：检测有害的互联网模因及其攻击的社会实体，并提供了 HarMeme 数据集。评估结果表明，使用多模态信号对这两个任务都很重要，但是需要进一步研究来解决现有模式的局限性。

    Sep, 2021

  • 零封闭式 VLM 用于仇恨迷因检测：我们到达目标了吗？

    这项研究探讨了视觉语言模型在处理令人费解任务（如仇恨迷因检测）中的有效性，并观察到大型视觉语言模型在零样本仇恨迷因检测方面仍然存在脆弱性。

    Feb, 2024

  • MOMENTA：一种检测有害模因及其目标的多模态框架

    本研究旨在探索检测和识别有害互联网迷因的方法和框架，对有害网络迷因和它们针对的社会实体进行研究分析，提出了一种名为 MOMENTA 的多模态深度神经网络方法，它可以系统分析输入迷因的局部和全局视角，并将其与背景上下文相关联。实验结果显示，MOMENTA 方法的性能优于其他类似方法。

    Sep, 2021

  • MemeGuard: 基于 LLM 和 VLM 的框架，通过梗图干预推进内容管理

    通过使用大语言模型（LLM）和视觉语言模型（VLM），本研究提出了一种全面框架 MemeGuard 用于干预恶意的 multimodal（多模态）网络迷因，测试结果表明 MemeGuard 在生成恰当和有效应对恶意迷因方面表现出色。

    Jun, 2024