ACLApr, 2024

利用大型语言模型检测德语泰勒克通道中超越关键词偏见的阴谋论

PDF
TL;DR使用 BERT-like 模型和 prompt-based 方法（Llama2、GPT-3.5 和 GPT-4）来检测德语 Telegram 消息中的阴谋论，结果表明两种方法都是有效的，最佳模型是 GPT-4，具有自定义的阴谋论定义。
automated detectionconspiracy theoriessupervised fine-tuninggerman telegram messagesgpt-4
发现论文，激发创造
  • 使用 Transformer 和 TF-IDF 检测 COVID-19 阴谋论

    研究者通过设计和应用不同的机器学习模型，在探测虚假新闻方面取得了进展，但现有研究对于快速变化的主题和领域特定词汇的虚假新闻重视不够。本文提出了在特定与 COVID-19 相关主题中进行三项虚假新闻检测任务的方法和结果，并试验了一组基于文本的模型，包括支持向量机、随机森林、BERT 和 RoBERTa。发现预训练转换器可以产生最佳的验证结果，但经过智能设计的随机初始化转换器也可以训练达到接近预训练转换器的准确度。

    May, 2022

  • UPB @ ACTI：使用精细调整的句子转换器检测阴谋

    阴谋论检测，使用预训练的句子转换模型和数据增强技术，在二分类和细粒度阴谋主题分类上达到 85.71％和 91.23％的 F1 得分，在 ACTI @ EVALITA 2023 共享任务的最终排行榜上获得第一名。

    Sep, 2023

  • 大规模分类阴谋爆料：虚假警报和错误关联

    在线讨论中经常涉及阴谋论，本研究针对不同主题和在线社区中的阴谋论讨论建立了一个以作者对阴谋信念的观点为基础的分类体系，并通过人工标注的训练数据使用基于 BERT 的模型进行分类，结果显示 GPT 在逻辑推理方面存在显著缺陷，与我们的分类器相比表现相近，研究揭示了大型语言模型在需要细致上下文理解的任务中的潜在应用。

    Mar, 2024

  • 探索文本生成中阴谋论记忆化的现象

    研究表明，预训练的生成语言模型很容易会生成蕴含阴谋论的文本，指出在发布自然语言生成应用之前需要进行彻底的审核，并深入探讨生成语言模型中记忆的缺陷。

    Jan, 2021

  • ConspEmoLLM：情感为基础的大规模语言模型用于阴谋理论检测

    利用情感特征和情感导向的大型语言模型，我们提出了一个名为 ConspEmoLLM 的开源系统，可用于准确检测误传信息和阴谋论，并能执行与阴谋论相关的多项任务，如理论类型分类和相关讨论的检测。我们的研究证明，ConspEmoLLM 在这些任务上表现出色，超过了几个开源通用领域的大型语言模型和 ChatGPT，以及使用了 ConDID 进行服务调整和评估但未使用情感特征的大型语言模型。

    Mar, 2024

  • 大型语言模型用于宣传检测

    探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战，通过 NLP 在文本中检测广告宣传是具有挑战性的，我们研究了现代大型语言模型（LLMs）如 GPT-3 和 GPT-4 在广告宣传检测中的有效性，并对使用 SemEval-2020 任务 11 数据集进行了实验，该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题，使用了五种不同的 GPT-3 和 GPT-4 变体，其中包括不同模型之间的各种提示工程和微调策略，通过评估 $F1$ 分数，$Precision$ 和 $Recall$ 等指标来评估模型的性能，并将结果与使用 RoBERTa 的当前最先进方法进行比较，我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果，此外，本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。

    Oct, 2023

  • 当代网络反犹太主义和阴谋叙事的代码，图案和形状 -- 在 COVID-19 背景下的注释指南和带标签的德语数据集

    在 COVID-19 大流行期间，新的阴谋论和现有阴谋论被刷新，经常与反犹太故事情节、刻板印象和代码交织在一起。在网络上存在如此多反犹太和阴谋论内容，数据驱动的算法方法对于反歧视组织和研究人员都是必不可少的。本文旨在开发反犹太和阴谋理论在线内容注释指南，以关闭相关研究的知识库不足。我们为 COVID-19 这一语境下的在线内容提供工作定义，包括编码式和后 - 大屠杀反犹太主义等具体形式，使用这些定义标注了一个德语数据集。

    Oct, 2022

  • 基于 Transformer 的大型语言模型检测反犹太主义仇恨言论

    我们研究了替代性的基于变压器的生成型 AI 技术，并开发了一种新的数据标注技术，证明了这些先进方法在应对仇恨言论检测中的比较有效性，强调在敏感环境中需要负责任和谨慎管理的 AI 应用。

    May, 2024

  • 零样本基于提示的分类：德语推文中的主题标签

    基于最新的自然语言处理技术，本研究通过使用基于写作指南的文本对文本界面而无需提供培训样本的方法，评估其在实际应用中自动化注释任务中的效果，结果表明即使受到本地计算资源限制，这种以提示为基础的方法与经过优化的 BERT 模型相当，且无需任何已标记的训练数据。

    Jun, 2024

  • 新闻叙事解码：大型语言模型在框架偏见检测中的关键分析

    本研究通过零 - shot、少 - shot 和可解释性提示方法，考察了 GPT-3.5 Turbo、GPT-4 和 Flan-T5 模型在检测新闻标题中的框架偏见方面的性能，并强调可解释性设置对社会科学研究中框架偏见的重要性。

    Feb, 2024