Sep, 2023

不良演员，良好顾问：大型语言模型在假新闻检测中的作用探究

PDF
TL;DR基于大型语言模型的虚假新闻检测研究发现，大型语言模型虽然能提供多元的合理解释，却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此，当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用，但可以作为小型语言模型的顾问，提供多元的启示性解释。为了实现这一点，作者设计了自适应启示指导网络（ARG）用于虚假新闻检测，在这个网络中，小型语言模型从大型语言模型的解释中选择性地获取新闻分析的见解。另外，作者还提出了一个消除解释的版本 ARG-D，用于成本敏感的情境，无需查询大型语言模型。实验证明，ARG 和 ARG-D 在两个真实数据集上的表现优于基于小型语言模型、大型语言模型以及小型和大型语言模型组合的三种基准方法。
发现论文，激发创造
  • 适应大语言模型时代的假新闻检测

    本文研究了大型语言模型时代中的假新闻检测问题，发现仅训练于人工编写文章的检测器在检测机器生成的假新闻方面表现良好，但反之不成立。此外，由于检测器对机器生成的文本存在偏见，需要在训练集中使用比测试集中较低比例的机器生成新闻。基于我们的发现，我们提供了一个实用的策略来开发健壮的假新闻检测器。

    Nov, 2023

  • 评估大型语言模型在检测虚假新闻中的功效：一项比较分析

    研究通过对比分析，评估了不同大型和小型 LLMs 在识别和过滤假新闻内容方面的有效性，并利用 Kaggle 的假新闻数据集样本探讨了当前 LLMs 在假新闻检测方面的能力和局限性，同时讨论了提高 AI 驱动信息完整性对开发人员和决策者的影响。

    Jun, 2024

  • 大型语言模型生成的文本受到假新闻检测器的偏见

    在大语言模型 (LLMs) 时代，我们发现许多现有的假新闻检测器存在显著偏见，更容易将 LLMs 生成的内容标记为假新闻，而常常误将人类撰写的假新闻分类为真实。为了解决这个问题，我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略，从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究，我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”，将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。

    Sep, 2023

  • 重新寻求真相：多轮检索增强的大型语言模型是强大的假新闻检测器

    通过多轮检索策略从网络源自动抽取关键证据进行主张验证的检索增强 LLMs 框架是第一种能自动地并有目的性地从网页信息中提取关键证据的框架，通过在三个现实世界数据集上进行全面的实验证明了该框架对现有方法的优越性。重要的是，我们的模型不仅提供准确的结论，还提供可读的解释，以提高结果的可解释性。

    Mar, 2024

  • 大型语言模型用于假新闻检测

    在当前数字化时代，社交平台上虚假信息的快速传播对社会福祉、公众信任和民主进程产生了重大挑战，影响着重要决策和公众舆论。为了应对这些挑战，自动化的虚假新闻检测机制的需求日益增长。本研究引入了 FactAgent，一种以主体性方式利用大型语言模型 (LLM) 进行虚假新闻检测的方法，将复杂的新闻真实性检查任务拆分为多个子步骤，LLM 可以使用内部知识或外部工具完成简单任务。FactAgent 在提高效率的同时，还提供透明的解释以及对虚假新闻检测推理过程的见解，具有高度的适应性，可以适用于各个领域的新闻验证。

    Apr, 2024

  • 对抗风格扩充的大型语言模型用于鲁棒假新闻检测

    通过使用 LLMs 自动生成各种具有多样性但连贯的风格转换攻击提示，我们的对抗性样式增强模型（AdStyle）改善了对假新闻的检测性能，并提高了鲁棒性。

    Jun, 2024

  • 探索大型语言模型在识别误导性新闻标题中的潜力

    利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。

    May, 2024

  • 大型语言模型用于宣传检测

    探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战，通过 NLP 在文本中检测广告宣传是具有挑战性的，我们研究了现代大型语言模型（LLMs）如 GPT-3 和 GPT-4 在广告宣传检测中的有效性，并对使用 SemEval-2020 任务 11 数据集进行了实验，该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题，使用了五种不同的 GPT-3 和 GPT-4 变体，其中包括不同模型之间的各种提示工程和微调策略，通过评估 $F1$ 分数，$Precision$ 和 $Recall$ 等指标来评估模型的性能，并将结果与使用 RoBERTa 的当前最先进方法进行比较，我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果，此外，本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。

    Oct, 2023

  • 利用精调的大型语言模型进行虚假信息和假新闻检测的分析

    利用 PEFT/LoRA 的方法对 Llama 2 大型语言模型进行细调，以用于辨析虚假信息和检测假新闻。该研究中，模型被细调以完成以下任务：解析揭示虚假信息和宣传叙事的文本、事实核查、假新闻检测、操纵分析、提取带情感的命名实体。实验结果表明，细调后的 Llama 2 模型能够对文本进行深度分析，揭示复杂的风格和叙事。命名实体的情感提取可以作为监督机器学习模型中的预测特征。

    Sep, 2023

  • FakeNewsGPT4：通过知识增强的 LVLMs 推进多模态假新闻检测

    本研究通过将大规模视觉 - 语言模型（LVLMs）与特定领域内的造假专有知识相结合，提出了 FakeNewsGPT4，用于检测多模态假新闻并获得更优跨领域性能。实验证明 FakeNewsGPT4 在公共基准测试中表现出优越的性能。

    Mar, 2024