通过整合投票和思维链过程的数据集创建机制，本研究提出了一种高质量的开源数据集用于检测有毒内容。这种方法不仅确保了每个样本的多样化分类指标，还包括分类得分和解释性推理。我们利用通过我们提出的机制创建的数据集来训练我们的模型，并将其与现有的广泛使用的检测器进行了比较。这种方法不仅增强了透明度和可定制性，还有助于更好地针对特定用例进行微调。本研究为开发有毒内容检测模型提供了一个稳健的框架，强调了开放性和适应性，从而为更有效和用户特定的内容审核解决方案铺平了道路。

Jun, 2024

本研究介绍了一个新的数据集 ToxicBias，这是从 Kaggle 竞赛中现有的数据集 “Jigsaw Unintended Bias in Toxicity Classification” 中精心策划的，旨在检测社交偏见及其类别和目标群体。我们使用我们策划的数据集对基于转换器的模型进行训练，并报告了偏见识别、目标生成和偏见影响的基线性能。研究还详细讨论了模型偏见及其缓解。

Oct, 2022

本文介绍了一种用于识别巴西葡萄牙语社交媒体上有毒言论的新的大规模数据集，使用 monolingual 的数据，BERT 模型在二元案例中可以达到 76% 的宏平均 - F1 分数，但仍需要大规模单语数据来创建更精确的模型，并强调了开发能够区分不同类别有毒言论的模型的必要性。

Oct, 2020

本研究调查了 17280 名互联网用户对什么构成毒性内容的期望不同，发现那些历史上处于骚扰风险中的群体更可能将 Reddit、Twitter 或 4chan 上的随机评论标记为有毒，而那些亲身经历过骚扰的人也更可能这样做。基于我们的发现，我们展示了目前的一款面向所有用户的毒性分类算法 Perspective API，如何通过个性化模型调整平均提高 86％的准确性。最终，我们强调当前的缺陷和新的设计方向，以提高毒性内容分类器的公平性和效果。

Jun, 2021

本研究旨在通过使用心理学和社会理论来定义网络上的毒性，提出了一种多维度的网络毒性检测方法，结合显式知识和统计学习算法，以解决网络毒性检测中的歧义和复杂度问题。

Apr, 2021

为在线服务开发自动有害物体检测系统，提供了一个新的基准数据集，该数据集包含超过 10,000 个图像，涵盖了 6 个可能有害的类别，并使用最先进的物体检测架构验证了其有效性。

Oct, 2023

该研究在 NLP 领域探讨了如何构建一个统一的框架，用于解决识别恶意内容（包括仇恨言论，毒性评论，网络欺凌等）的问题，并强调了伦理问题的重要性。提出了一个基于 “设计伦理” 的新框架，通过两个步骤来区分个人信息相对的非个人信息、在每个类别中进行比较注释以确定滥用程度。

Oct, 2020

该论文评估了多种最先进的模型，特别关注减少模型对一些少数群体的偏见，提出了一个多任务学习模型以及一系列深度学习模型，并使用特定的指标测试这些身份群体中意料之外的模型偏见。

Sep, 2019

本文提出了一种通过生成包含毒性单词的对抗样本，从而检验模型对毒性内容的识别性能，并探讨了使用 Contextual Denoising Autoencoder 提高模型鲁棒性的方法。实验表明，该方法在某些情况下可以将现有模型的检测准确率降低 50％以上。

Dec, 2019

本文使用数据科学的现代工具将原始文本转化成关键特征，并使用阈值法或学习算法对其进行分类以监控具有攻击性的网络对话，通过系统评估 62 个分类器，从 19 个主要算法组中抽取特征并分析其准确性及相对执行时间。在语法、情感、情绪以及离群字典的 28 个特征中，一个简单的脏词列表被证明是最有预测性的评价有攻击性评论的方法，其中基于树的算法提供最透明易懂的规则，并排列特征的预测贡献。

Oct, 2018