ICMLJan, 2024

大型语言模型应用于实际世界仇恨言论检测的调查

PDF
TL;DR使用大型语言模型和四种不同的提示策略，发现大型语言模型能够有效地检测恶意言论并超过当前基准机器学习模型的性能，提示策略在高效利用大型语言模型的知识库方面起到关键作用。
hate speech detectionlarge language modelscontextual detectionprompting strategiesmachine learning models
发现论文，激发创造
  • 利用人工智能打击网络仇恨：探索大型语言模型在仇恨言论检测中的挑战和机遇

    我们的研究通过综述和实证分析，揭示大型语言模型在检测恶意言论中的能力和限制，强调它们作为分类器的角色以及发现优秀的模型和他们的特点和训练方法，为理解大型语言模型在关键的恶意言论检测领域的能力做出贡献。

    Mar, 2024

  • 基于大型语言模型提取理由的可解释仇恨言论检测

    为了解决社交媒体中的仇恨言论问题，本文提出使用最新的大型语言模型（LLMs）从文本中提取特征，以训练基于仇恨言论分类器，从而实现设计上的可信解释性。全面评估了多个社交媒体仇恨言论数据集，证明了 LLMs 提取的解释特征的优越性以及实现解释性后依然保持良好性能的惊人结果。

    Mar, 2024

  • HateTinyLLM：使用微型大型语言模型进行仇恨言论检测

    本研究介绍了一种名为 HateTinyLLM 的基于精调的解码器型微型大型语言模型（tinyLLM）的新框架，用于高效检测仇恨言论。实验证明，精调的 HateTinyLLM 在检测效果上明显优于预训练的 mixtral-7b 模型。我们尝试了多个微型 LLM，包括 PY007/TinyLlama-1.1B-step-50K-105b、Microsoft/phi-2 和 facebook/opt-1.3b，并通过 LoRA 和适配器方法进行了精调。观察结果表明，所有基于 LoRA 的精调模型的准确率都超过 80%。

    Apr, 2024

  • 探索 LLMs 用于仇恨言论检测：优势和脆弱性

    利用不同的提示变体、输入信息和在零样本设置中评估大型语言模型，研究探讨在检测讨厌或有害语言时使用解释、上下文和受害群体信息，并发现不仅将目标信息包含在流程中可以显著提高模型性能 (约 20-30%)，而且将理由 / 解释加入流程会在不同数据集上相较基线进一步提升性能 (约 10-20%)；此外，提供了大型语言模型无法对决策进行分类和解释的错误案例分类，这些薄弱点自动构成这些模型的越狱提示，需要研发产业规模的安全技术来增强模型对抗此类提示。

    Oct, 2023

  • 不要走极端：揭示 LLMs 在隐性仇恨言论检测中的过度敏感性和校准限制

    大型语言模型在检测隐含仇恨言论和表达置信度方面存在敏感性和自信度失调的问题，需要谨慎优化模型以确保公平性。

    Feb, 2024

  • 使用上下文感知模型检测在线仇恨言论

    本文提出了一个包含上下文信息的仇恨言论数据集并提出了两种模型：一个基于逻辑回归模型的模型和一个具有上下文学习组件的神经网络模型。实验表明，这两种模型在 F1 得分方面优于强基线约 3％到 4％，结合这两种模型可进一步提高 7％的 F1 得分。

    Oct, 2017

  • HateRephrase: 在线帖子中使用大型语言模型进行零次和少次转换减少仇恨强度

    研究表明，使用大型语言模型（LLMs）在检测潜在仇恨言论并在发布前对其进行重新表述方面表现优异，进而减少其仇恨程度而不改变原始文本的语义意义。

    Oct, 2023

  • 利用深度生成模型实现大规模仇恨言论检测

    该研究探讨使用深度学习对 hate speech 进行自动检测，基于生成的 1 百万条数据集进行模型训练，在公共 hate speech 数据集上获得了显著的性能提升，提高了对多样的 hate speech 序列的高灵敏检测能力，为实现完全自动化的解决方案铺平了道路。

    May, 2020

  • LLMs 和 Fine-tuning：针对仇恨言论检测的跨领域性能基准测试

    比较不同的预训练和微调的大型语言模型对仇恨言论检测的影响，并强调了 LLMs 在不同领域的有效性和过拟合风险，通过评估，我们强调了需要通过更多样化的标签来掌握仇恨言论细微之处的微调模型的需求。最后，我们总结了对未来仇恨言论检测的展望，强调了跨领域的普适性和适当的基准实践。

    Oct, 2023

  • 利用大型语言模型进行端到端语音识别的语境化

    通过引入一种新方法，结合大型语言模型（LLMs）来进行上下文化的语音识别模型，我们证明通过添加适配器的少量可训练参数，可以在保持相同的文本输入功能的同时，实现预训练 LLM 的上下文化语音识别能力并显著提高性能。

    Sep, 2023