使用 ChatGPT 对虚假新闻数据集进行增强事实核查的再访
在大语言模型 (LLMs) 时代，我们发现许多现有的假新闻检测器存在显著偏见，更容易将 LLMs 生成的内容标记为假新闻，而常常误将人类撰写的假新闻分类为真实。为了解决这个问题，我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略，从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究，我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”，将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。
Sep, 2023
ChatGPT 的生成、解释和检测虚假新闻的能力进行了全面的探索，证明了其在生成高质量虚假新闻样本、解释虚假新闻特点和检测虚假新闻方面表现良好，但仍有改进的空间，并进一步研究了提升其检测能力的潜在额外信息。
Oct, 2023
我们提出了 FACT-GPT 这个系统，利用大型语言模型 (LLMs) 自动化事实核查中的索引匹配阶段。FACT-GPT 经训练后，可以识别与先前被揭穿的声明相符、相悖或无关的社交媒体内容。我们的评估结果表明，我们专门训练的 LLMs 在识别相关声明方面的准确性与更大型的模型相当，与人类判断非常接近。这项研究提供了一种高效的声明匹配自动化解决方案，展示了 LLMs 在支持事实核查员方面的潜力，并为该领域的进一步研究提供了宝贵的资源。
Feb, 2024
本文研究了大型语言模型时代中的假新闻检测问题，发现仅训练于人工编写文章的检测器在检测机器生成的假新闻方面表现良好，但反之不成立。此外，由于检测器对机器生成的文本存在偏见，需要在训练集中使用比测试集中较低比例的机器生成新闻。基于我们的发现，我们提供了一个实用的策略来开发健壮的假新闻检测器。
Nov, 2023
通过使用 FACT-GPT 框架，我们介绍了一种自动化事实核查的方法，该方法利用大型语言模型 (LLMs) 的主张匹配阶段来识别新的社交媒体内容，无论是支持还是反驳之前被事实核查人员驳斥的主张。研究结果表明，我们的精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美，与人工标注结果密切一致。
Oct, 2023
在当前数字化时代，社交平台上虚假信息的快速传播对社会福祉、公众信任和民主进程产生了重大挑战，影响着重要决策和公众舆论。为了应对这些挑战，自动化的虚假新闻检测机制的需求日益增长。本研究引入了 FactAgent，一种以主体性方式利用大型语言模型 (LLM) 进行虚假新闻检测的方法，将复杂的新闻真实性检查任务拆分为多个子步骤，LLM 可以使用内部知识或外部工具完成简单任务。FactAgent 在提高效率的同时，还提供透明的解释以及对虚假新闻检测推理过程的见解，具有高度的适应性，可以适用于各个领域的新闻验证。
Apr, 2024
本文评估了开放 AI 的 ChatGPT 3.5 和 4.0、谷歌的 Bard (LaMDA) 和微软的 Bing AI 等主要大型语言模型在使用黑箱测试区分新闻真伪方面的精通程度。研究发现，这些模型在真伪辨别方面的平均得分为 65.25，其中 OpenAI 的 GPT-4.0 在新的 LLMs 的能力方面表现出优势，得分为 71。然而，与人类事实核查员的表现相比，AI 模型尽管有前途，但在理解新闻信息中固有的细微差别和上下文方面落后。因此，本研究强调了 AI 在事实核查领域的潜力，同时也强调了人类认知能力的重要性和 AI 能力持续发展的必要性。
Jun, 2023
自动事实核查（使用机器学习来验证主张）已经变得至关重要，因为虚假信息已经超出了人类事实核查的能力范围。大型语言模型（LLMs），如 GPT-4，越来越受人们的信任，可以验证信息并撰写学术论文、诉讼文件和新闻文章，强调了它们在分辨真假和能够验证其输出的重要性。在这里，我们通过让 LLM 代理人表达查询、检索上下文数据和做出决策来评估 LLMs 在事实核查中的使用。重要的是，在我们的框架中，代理人解释他们的推理并引用检索到的相关来源。我们的结果显示，在配备上下文信息的情况下，LLMs 表现出更强大的能力。GPT-4 优于 GPT-3，但准确性取决于查询语言和主张的真实性。虽然 LLMs 在事实核查方面显示出前景，但仍需要谨慎使用，因为准确性不一致。我们的调研呼吁进一步研究，以更深入地了解代理人何时成功以及何时失败。
Oct, 2023
该研究使用 ChatGPT 的人工智能模型，通过自然语言处理技术建立了一个能够识别 ChatGPT 所写的新闻文章的作者鉴定模型，其中 LSTM 神经网络模型表现最佳，对测试集数据达到 91.57％的准确率。
Oct, 2023
研究通过对比分析，评估了不同大型和小型 LLMs 在识别和过滤假新闻内容方面的有效性，并利用 Kaggle 的假新闻数据集样本探讨了当前 LLMs 在假新闻检测方面的能力和局限性，同时讨论了提高 AI 驱动信息完整性对开发人员和决策者的影响。
Jun, 2024