从欺骗到检测:大型语言模型在假新闻中的双重角色
在大语言模型(LLMs)时代,我们发现许多现有的假新闻检测器存在显著偏见,更容易将LLMs生成的内容标记为假新闻,而常常误将人类撰写的假新闻分类为真实。为了解决这个问题,我们引入了一种对抗训练与LLMs重写的真实新闻相结合的缓解策略,从而在人类和LLMs生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究,我们发布了两个全面的数据集“GossipCop++”和“PolitiFact++”,将经人工验证的文章与LLMs生成的假新闻和真实新闻相结合。
Sep, 2023
基于大型语言模型的虚假新闻检测研究发现,大型语言模型虽然能提供多元的合理解释,却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此,当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用,但可以作为小型语言模型的顾问,提供多元的启示性解释。为了实现这一点,作者设计了自适应启示指导网络(ARG)用于虚假新闻检测,在这个网络中,小型语言模型从大型语言模型的解释中选择性地获取新闻分析的见解。另外,作者还提出了一个消除解释的版本ARG-D,用于成本敏感的情境,无需查询大型语言模型。实验证明,ARG和ARG-D在两个真实数据集上的表现优于基于小型语言模型、大型语言模型以及小型和大型语言模型组合的三种基准方法。
Sep, 2023
通过回答三个研究问题,本研究探讨了利用大型语言模型(LLMs)生成的谣言和虚假信息对目前存在的谣言检测技术的影响,以及通过使用LLMs作为强大的谣言防御手段以及针对这一威胁的新方法的可能性。
Sep, 2023
本文研究了大型语言模型时代中的假新闻检测问题,发现仅训练于人工编写文章的检测器在检测机器生成的假新闻方面表现良好,但反之不成立。此外,由于检测器对机器生成的文本存在偏见,需要在训练集中使用比测试集中较低比例的机器生成新闻。基于我们的发现,我们提供了一个实用的策略来开发健壮的假新闻检测器。
Nov, 2023
基于大型语言模型的虚假新闻传播模拟框架研究了虚假新闻传播的趋势和控制,揭示了与话题相关性和个体特征相关的传播模式,并评估了各种干预策略的效果和成本,证明了大型语言模型在打击虚假新闻方面的重要性和潜力。
Mar, 2024
通过多轮检索策略从网络源自动抽取关键证据进行主张验证的检索增强LLMs框架是第一种能自动地并有目的性地从网页信息中提取关键证据的框架,通过在三个现实世界数据集上进行全面的实验证明了该框架对现有方法的优越性。重要的是,我们的模型不仅提供准确的结论,还提供可读的解释,以提高结果的可解释性。
Mar, 2024
利用大型语言模型(LLMs),本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异,ChatGPT-4在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发LLMs中的重要性,旨在将技术能力与细腻的人类判断力相结合。研究结果对AI伦理问题具有借鉴意义,强调了在技术先进的同时,还需要考虑伦理道德和人类解读的微妙性。
May, 2024
研究通过对比分析,评估了不同大型和小型LLMs在识别和过滤假新闻内容方面的有效性,并利用Kaggle的假新闻数据集样本探讨了当前LLMs在假新闻检测方面的能力和局限性,同时讨论了提高AI驱动信息完整性对开发人员和决策者的影响。
Jun, 2024
本研究解决了大型语言模型(LLMs)生成假新闻的动机和机制的理解问题。通过社会心理学的视角,提出了一种自动生成假新闻的新方法,并开发了理论框架LLM-Fake Theory,最终创建了数据集MegaFake。研究发现,该数据集为假新闻检测与治理提供了重要的理论支持和实践价值。
Aug, 2024