在在线交流的不断演变中，如何进行仇恨言论的管理成为一个复杂的挑战，而数字内容的多模态性质进一步加大了这一挑战。本综述全面调查了仇恨言论管理的最新进展，着重介绍了大型语言模型（LLMs）和大型多模态模型（LMMs）在其中的重要作用。通过对当前文献的深入分析，我们揭示了文本、视觉和听觉元素在传播仇恨言论中的微妙相互影响。我们发现了一种明显趋势，即主要通过整合这些模态来处理复杂性和微妙性问题。我们重点关注了 LLMs 和 LMMs 所带来的进展，这些进展已经开始重新定义检测和管理能力的边界。我们在研究中鉴定了现有的空白领域，特别是在涉及少数语言和文化的情况下，并强调了处理低资源环境的解决方案的需求。综述以展望未来的角度结束，概述了未来研究的潜在方向，包括探索新的人工智能方法论、在管理中的伦理治理以及开发更加细致入微、具有上下文意识的系统。这个全面概述的目标是促进进一步的研究，并推动协作努力，朝着更加复杂、负责任和以人为中心的数字时代仇恨言论管理方法的发展。

Jan, 2024

该研究介绍了一个多语言 Reddit 评论数据集，并通过对该数据集的实验分析，阐述了内容管理的挑战和相关研究问题，为自动内容管理的挑战和机遇做准备。

Feb, 2023

通过在不同的人口子集上进行注释的文本上训练分类器来衡量算法内容调节系统的规范偏见。

Jul, 2017

通过考察自动检测和审查系统的最新发展以及训练数据集的成熟度，探讨了作者意图对于内容审查系统的重要性，并提出了改善自动检测和审查系统以符合道德和政策观念的策略性变革。

May, 2024

大型语言模型在内容审核中表现出的强大能力备受关注，本研究通过评估一系列商用的现代语言模型（GPT-3，GPT-3.5，GPT-4），在基于规则的社区审核和毒性内容检测两个常见任务中发现，这些模型在许多社区的审核上表现出很高的准确性和精确度，并且超越现有的商用毒性分类器，同时也指出了在毒性检测任务上模型规模增加对性能的边际益处，暗示了大型语言模型在毒性检测任务上可能达到了性能瓶颈。未来的工作可以继续研究大型语言模型和内容审核的发展方向。

Sep, 2023

我们提出了一种整体方法来构建一个强大和有用的自然语言分类系统，以进行真实世界的内容审核，该系统的成功依赖于一系列精心设计和执行的步骤，包括内容分类法的设计和标注指令，数据质量控制，捕捉罕见事件的主动学习管道以及各种方法，以使模型具有稳健性并避免过度拟合。我们的审核系统经过训练，可检测许多不良内容的广泛集合，包括色情内容，仇恨内容，暴力，自残和骚扰。这种方法可以概括到各种不同的内容分类法，并可用于创建高质量的内容分类器，胜过现成的模型。

Aug, 2022

本文通过一种多学科的视角，建立了对对话调节有效性的系统定义，并提出了一个综合评估框架，以在无人干预的情况下评估模型的调节能力。通过该框架进行的首个已知的对话模型作为调节员的研究发现，适当引导的模型可以对有害行为提供具体而公正的反馈，但难以影响用户提高他们的尊重和合作水平。

Nov, 2023

介绍如何微调一种可以私下部署用于内容审核的大型语言模型，并讨论在微调过程中是否融入原因会更好，以及利用更强大的语言模型生成的原因对私下部署模型进行微调的好处和处理不正确答案时的不同处理方法。向研究人员提供有价值的经验。

Oct, 2023

通过从维基百科文献到链接页面的导航，建立文化知识的多元多样化采集方法与 CultureAtlas 数据集，该数据集涵盖了各种亚国家地理区域和族群，用于评估语言模型在文化多元背景下的表现和开发具有文化敏感和意识的语言模型，以促进数字领域中全球文化的更具包容性和平衡的表达。

Feb, 2024

该研究利用机器学习模型进行社交媒体内容审核，提出了一种优化阈值的方法，以实现自动审核，这种方法在成本效率和内容审核方面表现更好。

Aug, 2022