使用大型语言模型的多方面对抗叙述评估框架

Feb, 2024

使用大型语言模型的多方面对抗叙述评估框架

A Multi-Aspect Framework for Counter Narrative Evaluation using Large Language Models

Jaylen Jones, Lingbo Mo, Eric Fosler-Lussier, Huan Sun

TL;DR通过新的评估框架，我们提出了一种新颖的方法，让 LLMs 为生成的对抗叙事候选者提供评分和反馈，从而弥补以往评估方法的局限性，并显示出作为多方面、无参考和可解释的对抗叙事评估者的潜力。

Abstract

counter narratives - informed responses to hate speech contexts designed to refute hateful claims and de-escalate encounters - have emerged as an effective →

counter narratives hate speech intervention strategy evaluation framework llms

发现论文，激发创造

一种基于 LLM 的评估自动对抗叙事生成方法的排序方法

使用大型语言模型作为评估者，提出了一种对生成的反话进行评估的新方法，通过在锦标赛格式中对生成的反话进行成对比较，建立了一个模型排名流程，并与人类偏好达到了 0.88 的相关性。此外，通过细致的评估和性能分析，发现以聊天为导向的零 - shot 生成模型在此任务中是最佳选择，前提是它们不因安全问题而拒绝生成答案。

Jun, 2024

面向知识驱动的仇恨言论反叙事生成

该研究提出一种基于外部知识库的完整反叙事生成管道，以对抗网上仇恨。实验证明，该模型可以在领域内和跨领域环境下生成适合和信息丰富的反叙事。

Jun, 2021

人机协同进行数据采集：一个打击在线仇恨言论的多目标对抗性叙述数据集

本文提出了一种新型的人机交互数据收集方法，其中一个生成式语言模型通过使用其自身数据生成新的训练样本，并由专家审查 / 编辑来迭代地改善。结果表明，该方法可扩展并促进多样化、新颖及高效收集数据。生成的数据集是目前唯一面向专家的多重 HS/CN 目标数据集。

Jul, 2021

应对仇恨言论的受约束大型语言模型

利用大型语言模型生成有限制条件的反抗言论，并研究其对在线环境的影响和生成方法的语言特征。

Mar, 2024

使用预训练语言模型生成反对仇恨言论的对比研究

本研究旨在使用预训练的语言模型对抗英语在线仇恨言论，我们发现自回归模型与随机解码结合是最有前途的；同时研究发现成功的反目标试验关键不在于整体相似性，而是训练数据中的特定子集与测试目标的共性。最后，我们提出了一种管道技术，将自动生成的反叙事加以自动后期编辑以提高其质量。