Aug, 2023

因果交集性和梯度下降的双重形式：对令人讨厌的模因进行多模态分析的案例研究

PDF
TL;DR该研究通过融合因果分析和基于梯度的方法，探讨了机器学习模型内部机制如何揭示其因果效应，以及如何将恶意模因检测问题转化为 ATE 并利用渐近梯度方法解释模型行为，进而研究了最新的大型语言模型 LLaMA2 在语境学习环境中揭示交叉性的能力。
machine learninglarge language modelsexplainable aihateful memes detectionintersectionality
发现论文，激发创造
  • SemiMemes: 一种用于多模态 Memes 分析的半监督学习方法

    本篇研究提出一种多模态半监督学习方法，可用于探测社交媒体上的恶意图片，该方法结合了自动编码器和分类任务，通过 Contrastive Language-Image Pre-training 实现。在两个数据集上，该方法表现优于其他多模态半监督学习和有监督学习的现有模型。

    Mar, 2023

  • 一种用于检测恶意模因的多模态框架

    本篇论文旨在针对多种形式的恶意言论，特别是采用 Memes 表达的恶意言论开发一种新的多模态框架，该框架通过交叉验证的集成学习等增强措施，有效提高了已有多模态方法的性能，并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53，位列第四。

    Dec, 2020

  • 多模態仇恨自動偵測演算法評估

    该研究探讨了使用语义和多模态上下文来检测隐含和明确的仇恨言论，并且发现使用这种方法可以提高模型性能。同时还针对一批 5000 个多模态内容样本进行了高质量的注释，并将其释放为公开可用的语料库和代码。

    Jun, 2021

  • 沿着种族、性别和综合交错的轴线分析仇恨言论数据

    为了解决仇恨言论不断增长的问题，本文探索了种族、性别交叉轴线上仇恨言论数据集的分析，发现 African American English、男性和 AAE + 男性推文中存在强烈的偏见，BERT 模型会传播这种偏见，但通过平衡训练数据可以实现更公平的性别模型。

    May, 2022

  • 使用多模态深度学习方法检测恶意表情包：恶意表情包挑战赛中获奖解决方案

    Hateful Memes Challenge 使用 VisualBERT 多模态训练进行恶意标记检测，在挑战测试集中取得了 0.811 AUROC 和 0.765 的准确率，获得了 3173 名参赛者中的第三名

    Dec, 2020

  • MIST: 在文本 - 图像扩散模型中通过分离交叉注意力编辑来减轻交叉偏见

    本文介绍了一种方法，通过以独立方式修改交叉注意力图，解决了扩散式文本到图像模型中的交叉偏见问题。实验结果表明，我们的方法在减轻各种属性上的单一和交叉偏见方面超越了现有方法，并提供了我们的源代码和去偏模型以促进生成模型的公平性和支持进一步的研究。

    Mar, 2024

  • 多模态和可解释的网络模因分类

    本文针对当前因网络平台被用于地缘政治事件和社会问题而使得互联网谣言的信息审核变得更加困难，旨在设计实现一个多模态分类方法，利用文本和图像来识别有害的网络谣言，通过举例和原型推理比较示范算法之间的性能差异，为社区提供启发，同时设计一种用户友好的界面以方便对比分析结果。

    Dec, 2022

  • 在线模因中的仇恨解构

    本文提出了一种名为 DisMultiHate 的新框架，通过对目标实体进行解缠来提高多模式 meme 中令人讨厌内容的分类和可解释性。实验结果表明 DisMultiHate 能够胜过单一模态和多模态基线，这个方法对于多模态令人讨厌内容的分类任务具有很好的解释性。

    Aug, 2021

  • 通过大规模语言模型之间的多模态辩论实现可解释的有害表情包检测

    通过基于大型语言模型的多模态辩论和小型语言模型的调优，我们提出了一种可解释的方法来检测有害的互联网迷因，使模型能够对模糊和隐含的危害模式进行辨别，并提供可视化的解释。

    Jan, 2024

  • 仇恨表情包检测的多模态学习

    本文提出了一种新的多模态方法，将图像字幕流程融合到恶意模因检测过程中，以提高其有效性，以在 Hateful Memes Detection Challenge 上取得了良好的结果。

    Nov, 2020