Oct, 2023

反犹太主义有多毒？自动化评分反犹在线内容的潜力和局限

PDF
TL;DR使用手动注释的德语数据集，这篇论文研究了 Google 和 Jigsaw 的 Perspective API 在检测反犹太主义在线内容方面的潜力和局限性，并发现它在基本水平上能够识别反犹内容为有毒，但对于隐晦形式的反犹主义和批评立场的文本显示出严重弱点，而且通过简单的文本改动，可以大幅降低 API 分数，从而相对容易绕过基于该服务的内容审查。
perspective apitext toxicity assessmentantisemitic online contenttoxicity scorescontent moderation
发现论文，激发创造
  • 欺骗 Google 旨在检测有害评论的透视 API

    本文提出了一种基于对抗样例的攻击方法，针对 Google 和 Jigsaw 的机器学习项目 Perspective 中的有害语言检测系统，通过对高毒性短语的微小修改降低系统对其的有害等级，揭示了这类攻击方法的危害性和有害检测系统的可靠性问题。

    Feb, 2017

  • 使用 BERT 监测极端社交媒体上反犹太主义言论的演变

    通过自动化方法和无监督机器学习，从极端社交媒体中提取反犹太主义的主题和术语，以监测其情绪和演变，预防仇恨升级。

    Feb, 2024

  • 为多元视角设计有害内容分类

    本研究调查了 17280 名互联网用户对什么构成毒性内容的期望不同，发现那些历史上处于骚扰风险中的群体更可能将 Reddit、Twitter 或 4chan 上的随机评论标记为有毒，而那些亲身经历过骚扰的人也更可能这样做。基于我们的发现，我们展示了目前的一款面向所有用户的毒性分类算法 Perspective API，如何通过个性化模型调整平均提高 86％的准确性。最终，我们强调当前的缺陷和新的设计方向，以提高毒性内容分类器的公平性和效果。

    Jun, 2021

  • 临界视角：透视 API 中存在的陷阱的基准

    本文讨论如何对互联网内容中的 “有害” 语言进行检测，重点介绍了来自 Jigsaw 的最新分数评估工具 PERSPECTIVE，以及我们提出的新基准 SASS，并探讨了 PERSPECTIVE 在 SASS 上表现不足的问题。本文的研究表明，对于已经应用于有害性检测的工具的假设进行质疑十分重要，以预测和防止任何不公平的伤害。

    Jan, 2023

  • 标注员态度：标注员信念和身份对有害语言检测的偏见

    通过两项在线研究探究了评注者身份和信仰对有毒语言的评注的影响，发现评注者的身份和信仰与有毒性评分之间有很强的关联，表明对有毒语言的注释需要在社会变量中予以情境化考虑，进而提高有毒语言的注释和检测的准确性。

    Nov, 2021

  • 哪种更有毒？来自 Jigsaw 对有毒评论的严重程度评估发现

    本文比较评估了使用 transformers 和传统机器学习模型在 Jigsaw 最近发布的毒性严重度测量数据集上的表现，并通过可解释性分析展示了模型预测中的问题。

    Jun, 2022

  • 了解在线反犹太主义的数量化方法

    本文提出了一个大规模、定量的研究在线反犹太主义的方法，并使用科学方法量化了反犹太梗和 retoric 在网上的扩散和加剧程度。在收集百万级别的信息之后，我们提取了语义嵌入并演示了如何使用自动化技术发现并对反犹太术语进行分类。我们的结果为理解在线反犹太主义提供了数据驱动和定量的框架。

    Sep, 2018

  • 利用多模深度学习检测网络反犹太主义 -《颠覆犹太统治

    该研究提出了首个基于多模态检测在线反犹内容的自动化方法，致力于解决在线社交媒体不断泛滥的反犹行为。该方法包括从帖子中提取图像和文本信息，识别反犹言论的类别，以及评估系统的有效性和鲁棒性等方面。

    Apr, 2021

  • 反犹信息？高质量注释指南和推文标注数据集指南

    构建了一个进行反犹太主义言论自动检测的标注过的数据集，该数据集通过有关关键词，并给予标注人员对一个常用定义的反犹太主义进行刻意强制应用来涵盖广泛的讨论主题，并包括 1250 条符合国际大屠杀纪念联盟关于反犹太主义的定义，并且未被错误标记的推文，该数据集是针对 Twitter 在 2019 年 1 月至 2021 年 12 月期间的英文推文。

    Apr, 2023

  • 当代网络反犹太主义和阴谋叙事的代码，图案和形状 -- 在 COVID-19 背景下的注释指南和带标签的德语数据集

    在 COVID-19 大流行期间，新的阴谋论和现有阴谋论被刷新，经常与反犹太故事情节、刻板印象和代码交织在一起。在网络上存在如此多反犹太和阴谋论内容，数据驱动的算法方法对于反歧视组织和研究人员都是必不可少的。本文旨在开发反犹太和阴谋理论在线内容注释指南，以关闭相关研究的知识库不足。我们为 COVID-19 这一语境下的在线内容提供工作定义，包括编码式和后 - 大屠杀反犹太主义等具体形式，使用这些定义标注了一个德语数据集。

    Oct, 2022