大型语言模型揭示信息操作的目标、策略和叙事框架
社交媒体影响力竞选对公共话语和民主构成重大挑战,传统检测方法因社交媒体的复杂性和动态性而力不从心。本文提出了一种新颖的检测方法,利用大型语言模型(LLMs)结合用户元数据和网络结构。通过将这些元素转化为文本格式,我们的方法能够有效处理多语言内容并适应恶意竞选行为者不断变化的策略。通过在多个数据集上进行严格测试,我们验证了模型的有效性,并展示了其在识别影响力竞选方面的卓越性能。本研究不仅提供了一个强大的检测工具,而且为未来改进社交媒体影响策略的快速演变奠定了基础。
Nov, 2023
探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战,通过 NLP 在文本中检测广告宣传是具有挑战性的,我们研究了现代大型语言模型(LLMs)如 GPT-3 和 GPT-4 在广告宣传检测中的有效性,并对使用 SemEval-2020 任务 11 数据集进行了实验,该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题,使用了五种不同的 GPT-3 和 GPT-4 变体,其中包括不同模型之间的各种提示工程和微调策略,通过评估 $F1$ 分数,$Precision$ 和 $Recall$ 等指标来评估模型的性能,并将结果与使用 RoBERTa 的当前最先进方法进行比较,我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果,此外,本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。
Oct, 2023
在数字时代中,信息操作和大语言模型的融合标志着一个充满机遇和挑战的新时代。本文提出了一个用于应对这个全新世界的框架,探讨了人工智能增强信息操作的复杂动态,重视自主 AI 代理的道德考虑,并强调清晰的战略愿景、伦理考虑和整体理解在快速技术进步面前的重要性。
Oct, 2023
利用大型语言模型(LLMs),本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异,ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性,旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义,强调了在技术先进的同时,还需要考虑伦理道德和人类解读的微妙性。
May, 2024
使用新的方法解决 GPT-4 等大型语言模型在处理模糊或缺乏背景信息的陈述时的不确定性,并通过基于 LIAR-New 数据集的分类标签提出一个可适用于跨领域内容的框架来解析丢失的信息。我们利用这个框架生成有效的用户查询,相比基准方法,我们的方法提高了用户可回答的问题的比例 38 个百分点,宏观 F1 分类性能提高了 10 个百分点以上。因此,该方法可能成为未来对抗虚假信息的有价值组成部分。
Jan, 2024
本研究评估了大型语言模型(LLMs)GPT-4 和 GPT-3.5 在教育反馈调查中提供洞察力的潜力,并应用自然语言处理的方法,通过多标签分类、提取、主题分析和情感分析等任务来实现教育中常见的目标,从而展示了 LLMs 在洞察力提取方面的巨大潜力。
Sep, 2023
两项研究证明了大型语言模型可以用于模拟受到影响后的心理变化,并且支持大型语言模型具有成为影响效应模型的潜力。第一项研究测试了虚假真相效应,发现大型语言模型模拟数据和人类数据的效应模式一致;第二项研究考察了民粹主义新闻框架,发现其中一些效应与人类实验数据一致,但也存在区别。
Mar, 2023
利用新闻媒体进行数据分析,我们形成了一个包含十个类别的人工智能影响分类法,并通过评估模型发现,细调的模型与新闻媒体所识别的负面影响分类几乎一致,而指令型模型则在某些类别的影响生成上存在差距。这项研究凸显了当用于预测影响时,最先进的 LLMs 存在潜在偏见,并展示了将较小的 LLMs 与新闻媒体所反映的多样化影响进行调整以更好地反映这些影响的优势。
Jan, 2024
通过对计算机科学 - NLP 领域的 20 个选定主题进行研究和评估,本文证明了 GPT-4 相对于 GPT-3.5 在产生简明调查文章方面的成功,并揭示了 LLM 在特定领域应用中存在的问题和短板。
Aug, 2023