Oct, 2023

大型语言模型用于宣传检测

PDF
TL;DR探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战，通过 NLP 在文本中检测广告宣传是具有挑战性的，我们研究了现代大型语言模型（LLMs）如 GPT-3 和 GPT-4 在广告宣传检测中的有效性，并对使用 SemEval-2020 任务 11 数据集进行了实验，该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题，使用了五种不同的 GPT-3 和 GPT-4 变体，其中包括不同模型之间的各种提示工程和微调策略，通过评估 $F1$ 分数，$Precision$ 和 $Recall$ 等指标来评估模型的性能，并将结果与使用 RoBERTa 的当前最先进方法进行比较，我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果，此外，本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。
发现论文，激发创造
  • GPT-4 能否识别宣传报道？新闻文章中宣传内容的注解和检测

    使用 GPT-4 大型语言模型对包含 6 种其他语言的传媒行文进行细粒度的宣传技术检测，结果显示该模型在不同语种的跨度检测任务中遇到困难，相比于用于宣传检测的不同分类层次的模型微调后，GPT-4 仍然远远落后。

    Feb, 2024

  • 大型语言模型的宣传划分注释

    使用大型语言模型（如 GPT-4）作为标注员，通过提供更多信息来改善注释一致性和性能，从而进行检测宣传性文本片段的研究。

    Nov, 2023

  • 大型语言模型用于多标签宣传检测

    本研究通过提出的五种模型集成方法，针对包含 21 种宣传技巧的多标签文本分类任务有效地识别互联网宣传。最终在 WANLP 2022 共享任务中获得 59.73% 的微型 F1 分数，并进一步提出了未来的研究方向。

    Oct, 2022

  • 评估大型语言模型在检测虚假新闻中的功效：一项比较分析

    研究通过对比分析，评估了不同大型和小型 LLMs 在识别和过滤假新闻内容方面的有效性，并利用 Kaggle 的假新闻数据集样本探讨了当前 LLMs 在假新闻检测方面的能力和局限性，同时讨论了提高 AI 驱动信息完整性对开发人员和决策者的影响。

    Jun, 2024

  • 探索大型语言模型在识别误导性新闻标题中的潜力

    利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。

    May, 2024

  • 辩论评估中大型语言模型的实证分析

    使用 GPT-3.5 和 GPT-4 等高级大型语言模型对辩论评估进行研究，发现 LLMs 在评估上的表现超过人类，并超过基于大量数据集微调的最先进方法。同时，研究了 LLMs 中存在的偏见，包括位置偏见、词汇偏见和顺序偏见，这可能会影响它们的评价判断。我们的发现表明，无论是 GPT-3.5 还是 GPT-4 都存在一致偏向于第二个候选回答的偏见，这归因于提示设计。此外，在 GPT-3.5 和 GPT-4 中也存在词汇偏见，特别是当含义具有数字或顺序的标签集时，强调在提示设计中需谨慎选择标签的表述。此外，我们的分析表明，这两个模型倾向于认为辩论的结束方是获胜方，暗示存在讨论末尾的偏见。

    May, 2024

  • 基于维基百科风格的调查问卷生成的大型语言模型：在 NLP 概念上的评估

    通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估，本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功，并揭示了 LLM 在特定领域应用中存在的问题和短板。

    Aug, 2023

  • 利用大型语言模型检测在线发布的公共威胁的效力

    利用大型语言模型（LLMs）检测在线发布的公共威胁的有效性进行了研究。各种 LLMs 被用于分类帖子为 “威胁” 或 “安全”，结果表明 LLMs 能够有效地增强人类内容审查以帮助缓解新兴的在线风险。

    Dec, 2023

  • 大型语言模型揭示信息操作的目标、策略和叙事框架

    使用大型语言模型 GPT-3.5 来分析对抗性信息操作，协调性运动以及提取高阶指标，以提供比先前方法更完整的信息运动图像。

    May, 2024

  • SemEval-2020 任务 11 中的 BPGC：基于多粒度知识共享和语言特征的集成学习在新闻文章中探测宣传

    SemEval 2020 Task-11 aims to design automated systems for news propaganda detection, consisting of two sub-tasks, utilizing contextual embeddings and an ensemble of BERT and logistic regression classifiers with linguistic features to identify propaganda techniques and classify propagandist statements respectively.

    May, 2020