大型语言模型用于多标签宣传检测
探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战,通过 NLP 在文本中检测广告宣传是具有挑战性的,我们研究了现代大型语言模型(LLMs)如 GPT-3 和 GPT-4 在广告宣传检测中的有效性,并对使用 SemEval-2020 任务 11 数据集进行了实验,该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题,使用了五种不同的 GPT-3 和 GPT-4 变体,其中包括不同模型之间的各种提示工程和微调策略,通过评估 $F1$ 分数,$Precision$ 和 $Recall$ 等指标来评估模型的性能,并将结果与使用 RoBERTa 的当前最先进方法进行比较,我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果,此外,本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。
Oct, 2023
SemEval 2020 Task-11 aims to design automated systems for news propaganda detection, consisting of two sub-tasks, utilizing contextual embeddings and an ensemble of BERT and logistic regression classifiers with linguistic features to identify propaganda techniques and classify propagandist statements respectively.
May, 2020
本文提出了一种基于 RoBERTa 的 Multi-Instance Multi-Label(MIML)模型,以同时分类文章中的所有内容片段,考虑了标签之间的层级关系,取得了领先的分类效果。
May, 2023
使用 XLM-R 模型预测给定推文中每个宣传技术的概率,运用多粒度神经网络与 mBERT 编码器,基于大规模阿拉伯语数据集进行多标签分类及序列标注任务,该方法在 WANLP'2022 的两项子任务中获得第二名。
Oct, 2022
使用 GPT-4 大型语言模型对包含 6 种其他语言的传媒行文进行细粒度的宣传技术检测,结果显示该模型在不同语种的跨度检测任务中遇到困难,相比于用于宣传检测的不同分类层次的模型微调后,GPT-4 仍然远远落后。
Feb, 2024
该研究论文描述了关于如何检测阿拉伯推特上的宣传技术的共享任务,该任务吸引了 63 个团队注册,11 个团队提交了系统描述论文。
Nov, 2022
本文报道了我们在 SemEval-2019 任务 4 中提出的超级党派新闻检测系统,该系统主要使用一些原本用于检测宣传的工程特征。我们训练了一个基于逻辑回归模型的分类器,并使用从简单单词袋到词汇丰富度和文本可读性等特征来训练它。我们的系统在手动注释的测试数据上实现了 72.9% 的准确率,而在带有远程监督标注的测试数据上则实现了 60.8% 的准确率。另外的实验表明,使用更好的特征预处理可以大幅提高性能。
Apr, 2019
这篇论文总结了我们对 SemEval-2020 任务 11 中新闻文章宣传检测技术的研究,我们使用 GloVe、BERT 和 LSTM 模型结构实现了此任务,并且在 SI 和 TC 子任务中取得了良好的结果,超越了官方基线方法的性能,与测试集的排名分别为第 17 和第 22 名,并比较了不同的深度学习模型结构在新闻宣传检测上的性能。
Aug, 2020