ACLFeb, 2021

从网络评论的毒性到美国新闻的不文明：谨慎行事

PDF
TL;DR通过对美国新闻的礼貌性手动标注的语料库，测试 Jigsaw Perspective API 是否能够检测到不礼貌的程度，结果表明，Perspective 等模型无法很好地分析新闻中的不礼貌性，需要开发去除新闻中经常提到的词之间的虚假相关性的方法，这样才能更好地解决新闻中的不良言行问题。
incivilityonlinenewstoxicity modelserror analysis
发现论文，激发创造
  • 在社交媒体上检测和描述政治不文明行为

    研究了 Twitter 社交媒体上的政治不文明言辞，利用大数据集和群众智慧标注方法，成功进行了协议检测和语境建模，并探究了不文明言论的普遍性及其传播网络结构特征。

    May, 2023

  • 网络有害言论的多维度识别视角：不只是仇恨

    本文介绍了一种使用多个标签注释恶意在线言论的方法，强调了注释应该是细致、准确的。作者发布了一个高质量的数据集，使用六个标签注释了超过 40,000 条有关移民的推文，在此数据集上训练模型的表现优于基准数据集。

    Oct, 2022

  • 仇恨无法消除仇恨：预测对仇恨言论回复后的对话不文明

    预测回复仇恨言论后的不文明对话的任务及其相关衡量标准和语言分析研究的结果，揭示了最佳模型最常见的错误。

    Dec, 2023

  • 欺骗 Google 旨在检测有害评论的透视 API

    本文提出了一种基于对抗样例的攻击方法，针对 Google 和 Jigsaw 的机器学习项目 Perspective 中的有害语言检测系统，通过对高毒性短语的微小修改降低系统对其的有害等级，揭示了这类攻击方法的危害性和有害检测系统的可靠性问题。

    Feb, 2017

  • 为多元视角设计有害内容分类

    本研究调查了 17280 名互联网用户对什么构成毒性内容的期望不同，发现那些历史上处于骚扰风险中的群体更可能将 Reddit、Twitter 或 4chan 上的随机评论标记为有毒，而那些亲身经历过骚扰的人也更可能这样做。基于我们的发现，我们展示了目前的一款面向所有用户的毒性分类算法 Perspective API，如何通过个性化模型调整平均提高 86％的准确性。最终，我们强调当前的缺陷和新的设计方向，以提高毒性内容分类器的公平性和效果。

    Jun, 2021

  • 哪种更有毒？来自 Jigsaw 对有毒评论的严重程度评估发现

    本文比较评估了使用 transformers 和传统机器学习模型在 Jigsaw 最近发布的毒性严重度测量数据集上的表现，并通过可解释性分析展示了模型预测中的问题。

    Jun, 2022

  • 衡量网络性别歧视的整体指标

    使用监督自然语言处理方法和无监督词嵌入关联测试，本研究构建了一个可以提供针对男性和女性特征以及男性和女性个体的全面性中毒性指标的模型，应用于性别话语社区，并准确地测量了社区中性别歧视的水平。

    Apr, 2024

  • 小心处理：积极帮助用户评估和缓解其在线讨论中的紧张情绪

    通过设计算法工具来提高用户对话中紧张氛围的意识并引导其积极回应，我们提出了一种不同于传统平台依靠管理员干预的方法。通过用户实验，我们发现这种积极主动的用户中心模式受到用户的欢迎，并可能在未来得到广泛应用。

    Dec, 2022

  • 在线毒性检测的机器学习套件

    本文使用数据科学的现代工具将原始文本转化成关键特征，并使用阈值法或学习算法对其进行分类以监控具有攻击性的网络对话，通过系统评估 62 个分类器，从 19 个主要算法组中抽取特征并分析其准确性及相对执行时间。在语法、情感、情绪以及离群字典的 28 个特征中，一个简单的脏词列表被证明是最有预测性的评价有攻击性评论的方法，其中基于树的算法提供最透明易懂的规则，并排列特征的预测贡献。

    Oct, 2018

  • 反犹太主义有多毒？自动化评分反犹在线内容的潜力和局限

    使用手动注释的德语数据集，这篇论文研究了 Google 和 Jigsaw 的 Perspective API 在检测反犹太主义在线内容方面的潜力和局限性，并发现它在基本水平上能够识别反犹内容为有毒，但对于隐晦形式的反犹主义和批评立场的文本显示出严重弱点，而且通过简单的文本改动，可以大幅降低 API 分数，从而相对容易绕过基于该服务的内容审查。

    Oct, 2023