社交媒体平台的爆炸性增长在人类社会中带来了沟通和内容传播的革命，但是这些平台越来越被滥用以传播有毒内容，包括仇恨言论、恶意广告和色情，导致对青少年心理健康的严重负面影响。本文提出了一种名为 OASIS 的元变形测试框架，用于测试内容审查软件的性能，该框架通过从社交媒体应用中收集的真实有毒内容总结出 21 个变形规则。评估结果显示，OASIS 能够达到高达 100% 的错误发现率，并且通过使用 OASIS 生成的测试用例对模型进行重训练，能够提高内容审查模型的鲁棒性而不降低性能。

Aug, 2023

介绍了语义融合、一个用于验证多媒体内容审查软件的通用有效方法，将现有单模输入融合成具有毒性构造的新输入，用于验证多媒体内容审查软件。通过实验结果表明该方法提高了模型的鲁棒性和错误发现率。

May, 2023

本文提出了一种包含人为写作的扰动，用于评估社交媒体上毒性发言检测模型的效果，并测试了该测试集在深度学习　(BERT 和 RoBERTa) 和黑盒 API（如 Perspective API）上的表现，结果表明带有真实人为扰动的对抗攻击仍然有效。

Mar, 2023

本文提出了一种基于 “文本毒性倾向” 的概念，通过引入预测性评估来增强反应式评论，使用 Beta regression 模型进行概率建模并提出解释方法以提高文本审查的准确性和可解释性，同时还提出了一种扩展线性模型的手段以提高预测精度。

Sep, 2021

本研究对网络 “喷子” 产生的恶意文本、图片和二者融合的混合内容进行了分类和对比分析。结果表明，基于多语言的文本和二者融合的混合内容分类性能更好，相较于基准算法有所提升。

May, 2022

本文描述了 'Moj Masti' 团队提出的系统，使用了 ShareChat/Moj 在 IIIT-D 多语言恶性评论识别挑战中提供的数据，重点介绍了如何利用多语言 Transformer 预训练和微调模型来处理混合代码 / 交替代码分类任务，最终在测试数据 / 排行榜上实现了平均 F-1 分数为 0.9 的最佳性能，并通过添加音译数据、集成和一些后处理技术进一步提高了系统的性能，从而将我们放在了排行榜的第一位。

Jan, 2022

介绍了 MaRCo 算法，该算法采用 Product of Experts 和自编码语言模型相结合的方式，通过在非有毒和有毒语言模型下评估可能要屏蔽和替换的候选单词，能够有效地解决细微的毒性挑战，即使在人类评估中也要比基线方法更受欢迎，证明了其在解决日益逃避的网络仇恨问题上具有广泛的应用前景。

Dec, 2022

大型语言模型在内容审核中表现出的强大能力备受关注，本研究通过评估一系列商用的现代语言模型（GPT-3，GPT-3.5，GPT-4），在基于规则的社区审核和毒性内容检测两个常见任务中发现，这些模型在许多社区的审核上表现出很高的准确性和精确度，并且超越现有的商用毒性分类器，同时也指出了在毒性检测任务上模型规模增加对性能的边际益处，暗示了大型语言模型在毒性检测任务上可能达到了性能瓶颈。未来的工作可以继续研究大型语言模型和内容审核的发展方向。

Sep, 2023

自动内容审核方法、内容审核、有害、冒犯和志愿者审核人员是本文的关键词，研究提出了自动审核模型与志愿审核人员需求之间的差距，并测试了先进语言模型在平台规则违规检测上的表现。

Nov, 2023

该研究通过对大型语言模型的上下文学习进行系统分析，旨在自动化生成税务准备软件的变态规范，从而解决税法复杂性和测试的问题。

Nov, 2023