社交媒体上的毒性定义和检测:关键在于上下文和知识
使用基于树的方法分析在线社交媒体上用户对有害内容的行为和上下文,研究发现毒性评论会增加在线对话中产生后续毒性评论的可能性,并观察到在用户行为和模式方面,共识亵渎与非共识亵渎存在重叠的相似性。
Apr, 2024
研究讨论了社交媒体平台上存在的有害评论问题,提出使用 Lstm-cnn 模型构建分类器,以高精度区分有毒和无毒评论,并帮助组织更好地检查评论区的有害性。
Apr, 2023
该研究探讨了上下文信息是否影响文本模型对于评论内容的判断,结果发现上下文信息能够强化或减轻评论内容的毒性,但是定量证据表明,加入上下文信息并不能提高文本模型评价评论内容毒性的表现。
Jun, 2020
本文描述了 'Moj Masti' 团队提出的系统,使用了 ShareChat/Moj 在 IIIT-D 多语言恶性评论识别挑战中提供的数据,重点介绍了如何利用多语言 Transformer 预训练和微调模型来处理混合代码 / 交替代码分类任务,最终在测试数据 / 排行榜上实现了平均 F-1 分数为 0.9 的最佳性能,并通过添加音译数据、集成和一些后处理技术进一步提高了系统的性能,从而将我们放在了排行榜的第一位。
Jan, 2022
本研究调查了 17280 名互联网用户对什么构成毒性内容的期望不同,发现那些历史上处于骚扰风险中的群体更可能将 Reddit、Twitter 或 4chan 上的随机评论标记为有毒,而那些亲身经历过骚扰的人也更可能这样做。基于我们的发现,我们展示了目前的一款面向所有用户的毒性分类算法 Perspective API,如何通过个性化模型调整平均提高 86%的准确性。最终,我们强调当前的缺陷和新的设计方向,以提高毒性内容分类器的公平性和效果。
Jun, 2021
通过系统的调查与综述,我们填补了对有毒模因的内容分析的备受争议的术语和未探索趋势的先前相关研究的空白。我们对 118 篇新论文进行了调查,分析了 158 项内容为基础的有毒模因分析工作。我们提出了对模因有毒性类型进行分类的新分类法,并鉴别了模因有毒性的三个内容维度:目标、意图和传达策略。研究还分析了一些关键挑战和最新趋势,如增强的跨模态推理、专家和文化知识的整合、自动毒性解释的需求以及在资源匮乏语言中处理模因有毒性。最后,我们提出了推进有毒模因检测和解析的路径。
Jun, 2024
本文使用数据科学的现代工具将原始文本转化成关键特征,并使用阈值法或学习算法对其进行分类以监控具有攻击性的网络对话,通过系统评估 62 个分类器,从 19 个主要算法组中抽取特征并分析其准确性及相对执行时间。在语法、情感、情绪以及离群字典的 28 个特征中,一个简单的脏词列表被证明是最有预测性的评价有攻击性评论的方法,其中基于树的算法提供最透明易懂的规则,并排列特征的预测贡献。
Oct, 2018
在线空间中的毒性问题是一个日益普遍且严重的问题,因此,过去十年的机器学习研究重点放在计算检测和缓解在线毒性上。然而,由于历史上此类标注往往存在较低的一致性,最近的研究指出了在构建和利用这些数据集时考虑这一任务的主观性的重要性,并激发了对评定者不一致性进行分析和更好理解以及如何将其有效纳入机器学习开发流程的研究。虽然这些努力填补了重要的空白,但缺乏更广泛的评定者不一致性根本原因的框架,因此我们将这项工作置于更广泛的背景之上。在这篇综述论文中,我们分析了关于在线毒性评定者不一致性原因的大量文献,并提出了详细的分类法。此外,我们还总结和讨论了针对每个不一致性原因的潜在解决方案,并讨论了几个能促进未来在线毒性研究发展的开放问题。
Nov, 2023
本文研究了机器学习模型在对包含多种形式的细微虐待语言(如敌意、讽刺和概括等)的不健康在线会话进行分类的应用。结合包含 7 种细微有毒评论的公共数据集,我们成功地对这些评论进行了分类和判别,并揭示了对于不同种类的不健康评论,其中,敌意评论比其他类型更容易检测。同时,情感分析表明,多数类型的有害评论与轻微负面情绪相关联,其中敌意评论是最具负面情绪的类型。
Jun, 2021