Apr, 2024

大型语言模型用于假新闻检测

PDF
TL;DR在当前数字化时代，社交平台上虚假信息的快速传播对社会福祉、公众信任和民主进程产生了重大挑战，影响着重要决策和公众舆论。为了应对这些挑战，自动化的虚假新闻检测机制的需求日益增长。本研究引入了 FactAgent，一种以主体性方式利用大型语言模型 (LLM) 进行虚假新闻检测的方法，将复杂的新闻真实性检查任务拆分为多个子步骤，LLM 可以使用内部知识或外部工具完成简单任务。FactAgent 在提高效率的同时，还提供透明的解释以及对虚假新闻检测推理过程的见解，具有高度的适应性，可以适用于各个领域的新闻验证。
misinformationfake news detectionlarge language modelsfactagentworkflow
发现论文，激发创造
  • 适应大语言模型时代的假新闻检测

    本文研究了大型语言模型时代中的假新闻检测问题，发现仅训练于人工编写文章的检测器在检测机器生成的假新闻方面表现良好，但反之不成立。此外，由于检测器对机器生成的文本存在偏见，需要在训练集中使用比测试集中较低比例的机器生成新闻。基于我们的发现，我们提供了一个实用的策略来开发健壮的假新闻检测器。

    Nov, 2023

  • 大型语言模型生成的文本受到假新闻检测器的偏见

    在大语言模型 (LLMs) 时代，我们发现许多现有的假新闻检测器存在显著偏见，更容易将 LLMs 生成的内容标记为假新闻，而常常误将人类撰写的假新闻分类为真实。为了解决这个问题，我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略，从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究，我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”，将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。

    Sep, 2023

  • 大语言模型事实核查的风险与前景

    自动事实核查（使用机器学习来验证主张）已经变得至关重要，因为虚假信息已经超出了人类事实核查的能力范围。大型语言模型（LLMs），如 GPT-4，越来越受人们的信任，可以验证信息并撰写学术论文、诉讼文件和新闻文章，强调了它们在分辨真假和能够验证其输出的重要性。在这里，我们通过让 LLM 代理人表达查询、检索上下文数据和做出决策来评估 LLMs 在事实核查中的使用。重要的是，在我们的框架中，代理人解释他们的推理并引用检索到的相关来源。我们的结果显示，在配备上下文信息的情况下，LLMs 表现出更强大的能力。GPT-4 优于 GPT-3，但准确性取决于查询语言和主张的真实性。虽然 LLMs 在事实核查方面显示出前景，但仍需要谨慎使用，因为准确性不一致。我们的调研呼吁进一步研究，以更深入地了解代理人何时成功以及何时失败。

    Oct, 2023

  • 不良演员，良好顾问：大型语言模型在假新闻检测中的作用探究

    基于大型语言模型的虚假新闻检测研究发现，大型语言模型虽然能提供多元的合理解释，却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此，当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用，但可以作为小型语言模型的顾问，提供多元的启示性解释。为了实现这一点，作者设计了自适应启示指导网络（ARG）用于虚假新闻检测，在这个网络中，小型语言模型从大型语言模型的解释中选择性地获取新闻分析的见解。另外，作者还提出了一个消除解释的版本 ARG-D，用于成本敏感的情境，无需查询大型语言模型。实验证明，ARG 和 ARG-D 在两个真实数据集上的表现优于基于小型语言模型、大型语言模型以及小型和大型语言模型组合的三种基准方法。

    Sep, 2023

  • 使用 ChatGPT 对虚假新闻数据集进行增强事实核查的再访

    通过扩充大语言模型 (ChatGPT) 的事实核查，重新审视了由人类记者验证的现有虚假新闻数据集，并将扩充的虚假新闻数据集命名为 ChatGPT-FC。我们在评估新闻主题可信度、新闻创作者可信度、时态敏感度和政治框架方面定量分析了人类记者和 LLM 之间的差异和相似之处。我们的研究结果强调了 LLM 作为初步筛选方法的潜力，为减轻人类记者的固有偏见并增强虚假新闻检测提供了有希望的途径。

    Dec, 2023

  • 评估大型语言模型在检测虚假新闻中的功效：一项比较分析

    研究通过对比分析，评估了不同大型和小型 LLMs 在识别和过滤假新闻内容方面的有效性，并利用 Kaggle 的假新闻数据集样本探讨了当前 LLMs 在假新闻检测方面的能力和局限性，同时讨论了提高 AI 驱动信息完整性对开发人员和决策者的影响。

    Jun, 2024

  • 大型语言模型能否检测科学新闻报道中的错误信息？

    使用大型语言模型检测科学报道中的虚假信息，针对缺乏明确标签的情况，提出了多种基于大型语言模型的基准架构和提示方法，包括零样本、少样本和连贯思维提示等。

    Feb, 2024

  • 重新寻求真相：多轮检索增强的大型语言模型是强大的假新闻检测器

    通过多轮检索策略从网络源自动抽取关键证据进行主张验证的检索增强 LLMs 框架是第一种能自动地并有目的性地从网页信息中提取关键证据的框架，通过在三个现实世界数据集上进行全面的实验证明了该框架对现有方法的优越性。重要的是，我们的模型不仅提供准确的结论，还提供可读的解释，以提高结果的可解释性。

    Mar, 2024

  • 针对事实性的语言模型微调

    通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

    Nov, 2023

  • 大型语言模型的自动索赔匹配：在打击虚假信息中赋予事实检查员权力

    通过使用 FACT-GPT 框架，我们介绍了一种自动化事实核查的方法，该方法利用大型语言模型 (LLMs) 的主张匹配阶段来识别新的社交媒体内容，无论是支持还是反驳之前被事实核查人员驳斥的主张。研究结果表明，我们的精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美，与人工标注结果密切一致。

    Oct, 2023