MegaFake:由大型语言模型生成的假新闻理论驱动数据集
在大语言模型(LLMs)时代,我们发现许多现有的假新闻检测器存在显著偏见,更容易将LLMs生成的内容标记为假新闻,而常常误将人类撰写的假新闻分类为真实。为了解决这个问题,我们引入了一种对抗训练与LLMs重写的真实新闻相结合的缓解策略,从而在人类和LLMs生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究,我们发布了两个全面的数据集“GossipCop++”和“PolitiFact++”,将经人工验证的文章与LLMs生成的假新闻和真实新闻相结合。
Sep, 2023
基于大型语言模型的虚假新闻检测研究发现,大型语言模型虽然能提供多元的合理解释,却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此,当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用,但可以作为小型语言模型的顾问,提供多元的启示性解释。为了实现这一点,作者设计了自适应启示指导网络(ARG)用于虚假新闻检测,在这个网络中,小型语言模型从大型语言模型的解释中选择性地获取新闻分析的见解。另外,作者还提出了一个消除解释的版本ARG-D,用于成本敏感的情境,无需查询大型语言模型。实验证明,ARG和ARG-D在两个真实数据集上的表现优于基于小型语言模型、大型语言模型以及小型和大型语言模型组合的三种基准方法。
Sep, 2023
本文研究了大型语言模型时代中的假新闻检测问题,发现仅训练于人工编写文章的检测器在检测机器生成的假新闻方面表现良好,但反之不成立。此外,由于检测器对机器生成的文本存在偏见,需要在训练集中使用比测试集中较低比例的机器生成新闻。基于我们的发现,我们提供了一个实用的策略来开发健壮的假新闻检测器。
Nov, 2023
通过扩充大语言模型(ChatGPT)的事实核查,重新审视了由人类记者验证的现有虚假新闻数据集,并将扩充的虚假新闻数据集命名为ChatGPT-FC。我们在评估新闻主题可信度、新闻创作者可信度、时态敏感度和政治框架方面定量分析了人类记者和LLM之间的差异和相似之处。我们的研究结果强调了LLM作为初步筛选方法的潜力,为减轻人类记者的固有偏见并增强虚假新闻检测提供了有希望的途径。
Dec, 2023
基于大型语言模型的虚假新闻传播模拟框架研究了虚假新闻传播的趋势和控制,揭示了与话题相关性和个体特征相关的传播模式,并评估了各种干预策略的效果和成本,证明了大型语言模型在打击虚假新闻方面的重要性和潜力。
Mar, 2024
通过多轮检索策略从网络源自动抽取关键证据进行主张验证的检索增强LLMs框架是第一种能自动地并有目的性地从网页信息中提取关键证据的框架,通过在三个现实世界数据集上进行全面的实验证明了该框架对现有方法的优越性。重要的是,我们的模型不仅提供准确的结论,还提供可读的解释,以提高结果的可解释性。
Mar, 2024
为了理解不同领域的虚假信息,我们引入了一个新颖的多领域知识增强基准,名为FineFake,它包含16909个数据样本,涵盖六个语义主题和八个平台,并提供多模态内容,潜在社会背景,半手动验证的常见知识和超越传统二进制标签的细粒度注释。基于FineFake,我们还提出了三个具有挑战性的任务,并提出了一个知识增强的领域自适应网络,在各种情况下对FineFake进行了广泛的实验证明,为未来的研究提供了准确可靠的基准。整个FineFake项目可以在https://github.com/Accuser907/FineFake上作为开源资源进行访问。
Mar, 2024
研究通过对比分析,评估了不同大型和小型LLMs在识别和过滤假新闻内容方面的有效性,并利用Kaggle的假新闻数据集样本探讨了当前LLMs在假新闻检测方面的能力和局限性,同时讨论了提高AI驱动信息完整性对开发人员和决策者的影响。
Jun, 2024
本研究针对假新闻对信息生态系统和公众信任的威胁,探讨了大型语言模型(LLMs)在生成和检测假新闻中的双重作用。研究发现,一些模型可以产生偏见的假新闻,而大型模型在检测能力上普遍优于传统模型,且LLM生成的假新闻更难被检测识别,这为假新闻的防御提供了新的视角和解决方案。
Sep, 2024