本研究针对社交媒体上用户产生内容迅速增长的情况，结合多种数据集实现二分类任务来保障商业品牌的安全，即识别广告不应出现的背景，同时论证了构建针对品牌安全的数据集的必要性，并就文本分类中的加权抽样策略进行了经验性分析。

Mar, 2023

在线毒性讨论的普及和影响使内容管理至关重要。自动化系统在识别有毒评论和减少对人工管理的依赖方面起着至关重要的作用。然而，识别多样化社区的有毒评论仍然存在挑战，本研究对此进行了探讨。

Nov, 2023

在线空间中的毒性问题是一个日益普遍且严重的问题，因此，过去十年的机器学习研究重点放在计算检测和缓解在线毒性上。然而，由于历史上此类标注往往存在较低的一致性，最近的研究指出了在构建和利用这些数据集时考虑这一任务的主观性的重要性，并激发了对评定者不一致性进行分析和更好理解以及如何将其有效纳入机器学习开发流程的研究。虽然这些努力填补了重要的空白，但缺乏更广泛的评定者不一致性根本原因的框架，因此我们将这项工作置于更广泛的背景之上。在这篇综述论文中，我们分析了关于在线毒性评定者不一致性原因的大量文献，并提出了详细的分类法。此外，我们还总结和讨论了针对每个不一致性原因的潜在解决方案，并讨论了几个能促进未来在线毒性研究发展的开放问题。

Nov, 2023

本文提出了一种通过生成包含毒性单词的对抗样本，从而检验模型对毒性内容的识别性能，并探讨了使用 Contextual Denoising Autoencoder 提高模型鲁棒性的方法。实验表明，该方法在某些情况下可以将现有模型的检测准确率降低 50％以上。

Dec, 2019

本文探讨零样本基于提示的毒性检测方法的生成变量，通过对提示工程的全面试验在三个社交媒体数据集上进行验证，并讨论了自诊断及其伦理影响的有趣方面。

May, 2022

本文介绍了一种毒性语言检测框架，通过考虑人为因素通过迭代反馈循环来提高毒性基准数据集的可靠性，以平衡性能和毒性避免之间的权衡。

May, 2023

本文介绍了一种精细检测中文毒性语言的方法，包括构建一个监控毒性框架、建立 ToxiCN 数据集、构建侮辱词汇表等。实验证明了这种方法的有效性，并对结果进行了系统定量和定性分析。

May, 2023

该研究介绍了新的 “全面优化毒性”（TET）数据集，由手工设计的提示构成，旨在抵消这些模型的保护层，通过广泛的评估，证明了 TET 在评估几种流行的 LLMs 中毒性意识方面的重要作用，凸显了正常提示下可能隐藏的 LLMs 中的毒性，从而揭示了它们行为中更微妙的问题。

May, 2024

此研究提出了 ToxiCR，一种基于监督学习的毒性识别工具，旨在帮助 FOSS 社区处理代码审查交互过程中的有害对话。该工具可以选择十种监督学习算法之一、文本向量化技术之一，以及八个预处理步骤之一，具有良好的判别能力，提高了 95.8％的准确性和 88.9％的 F1 得分。

Feb, 2022

本文使用数据科学的现代工具将原始文本转化成关键特征，并使用阈值法或学习算法对其进行分类以监控具有攻击性的网络对话，通过系统评估 62 个分类器，从 19 个主要算法组中抽取特征并分析其准确性及相对执行时间。在语法、情感、情绪以及离群字典的 28 个特征中，一个简单的脏词列表被证明是最有预测性的评价有攻击性评论的方法，其中基于树的算法提供最透明易懂的规则，并排列特征的预测贡献。

Oct, 2018