通过收集和标注一系列文章，我们提出了一种基于使用意图分类和卡槽填充构建体系结构的方法，以检测有害的社交媒体帖子，同时提供了模型决策的理由。

Oct, 2022

通过在不同的人口子集上进行注释的文本上训练分类器来衡量算法内容调节系统的规范偏见。

Jul, 2017

该研究在 NLP 领域探讨了如何构建一个统一的框架，用于解决识别恶意内容（包括仇恨言论，毒性评论，网络欺凌等）的问题，并强调了伦理问题的重要性。提出了一个基于 “设计伦理” 的新框架，通过两个步骤来区分个人信息相对的非个人信息、在每个类别中进行比较注释以确定滥用程度。

Oct, 2020

机器学习（ML）基于内容审查工具对保持在线空间的免受仇恨性沟通至关重要。然而，ML 工具的能力仅取决于其所训练的数据的质量。虽然越来越多的证据表明它们在检测针对特定身份的仇恨性沟通方面表现不佳，并可能对其进行歧视，但我们对此类偏见的来源了解甚少。为了填补这一空白，我们对过去十年中引入的用于自动检测仇恨性沟通的数据集进行了系统回顾，并就数据集中所包含的个体身份质量进行了分析，这些身份是数据策划者关注的仇恨性沟通目标以及不经意间被包含在数据集中的身份。总体而言，我们发现了对选择的目标身份存在偏向的代表性和研究概念化和最终包含在数据集中的目标之间的不匹配。然而，通过将这些发现与数据集的语言和来源地背景进行联系，我们强调了这一研究领域向广泛化和多样化的积极趋势。

May, 2024

该研究分析了数据集构建到模型行为的关键词对在自动检测滥用语言方面的影响，着重于模型在缺少强烈指示性关键词的情况下漏报滥用和在存在这些关键词的情况下误报非滥用的问题，并提供解决这三个问题的未来研究建议。

May, 2022

大规模内容审核面临着在评估内容时考虑本地文化差异的挑战。该研究探讨了如何通过适应本地理解细微差别来解决这个问题，培训大型语言模型以捕捉跨地理区域的交流细节，并在关于何为冒犯内容的文化和社会变化时提供解释。研究发现，基于广泛的媒体数据集进行培训成功地培养了文化意识，并在区域基础上改善了处理内容违规行为的能力，表明灵活的内容审核方法在跟上内容不断演变的本质方面发挥了关键作用。

Dec, 2023

调查了当前针对滥用语言的自动检测方法以及在线平台的内容管理政策，研究方向及未来工作发展方向。

Feb, 2021

本文主要基于八项伦理原则，即：隐私、问责、安全、可透明、公平和非歧视、技术的人类控制、专业责任、人权的促进，回顾了基于自然语言处理（NLP）的网络滥用内容检测的研究，并提出了权利尊重的社会技术解决方案来检测和对抗线上滥用。

Dec, 2020

社交媒体平台的兴起导致了网络攻击行为的增加，其中包括网络欺凌、在线骚扰和冒犯性和仇恨言论的传播。这篇论文通过分析定义的多样性并提出统一的网络攻击定义，深入研究了攻击性内容检测和攻击性用户行为分析领域，揭示了将社会学见解与计算技术相结合以预防网络攻击行为的有效性。

Nov, 2023

我们提出了一种整体方法来构建一个强大和有用的自然语言分类系统，以进行真实世界的内容审核，该系统的成功依赖于一系列精心设计和执行的步骤，包括内容分类法的设计和标注指令，数据质量控制，捕捉罕见事件的主动学习管道以及各种方法，以使模型具有稳健性并避免过度拟合。我们的审核系统经过训练，可检测许多不良内容的广泛集合，包括色情内容，仇恨内容，暴力，自残和骚扰。这种方法可以概括到各种不同的内容分类法，并可用于创建高质量的内容分类器，胜过现成的模型。

Aug, 2022