对抗风格扩充的大型语言模型用于鲁棒假新闻检测
本文研究了大型语言模型时代中的假新闻检测问题,发现仅训练于人工编写文章的检测器在检测机器生成的假新闻方面表现良好,但反之不成立。此外,由于检测器对机器生成的文本存在偏见,需要在训练集中使用比测试集中较低比例的机器生成新闻。基于我们的发现,我们提供了一个实用的策略来开发健壮的假新闻检测器。
Nov, 2023
通过使用出版商元数据以隐含发布者的模板、文本类型、政治立场和可信度,我们提出了一种新颖的验证框架 Style-News,用于防止有害的虚假信息从恶意社交媒体传播,同时通过识别风格与出版商对应以及区分给定新闻的来源是人类撰写还是机器生成,我们训练了一个适应特定出版商生成新闻内容的风格感知神经网络生成器和风格和来源鉴别器。通过整合各种维度指标(语言流畅性、内容保留性和风格遵循性)评估生成内容的质量,我们证明了 Style-News 在流畅性上超过了以前的方法 0.35,内容上高出 15.24,风格上高出 0.38 的幅度。此外,我们的鉴别模型在发布者预测(高达 4.64%)和神经假新闻检测(+6.94%~31.72%)方面优于最先进的基准模型。
Jan, 2024
在大语言模型 (LLMs) 时代,我们发现许多现有的假新闻检测器存在显著偏见,更容易将 LLMs 生成的内容标记为假新闻,而常常误将人类撰写的假新闻分类为真实。为了解决这个问题,我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略,从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究,我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”,将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。
Sep, 2023
基于大型语言模型的虚假新闻检测研究发现,大型语言模型虽然能提供多元的合理解释,却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此,当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用,但可以作为小型语言模型的顾问,提供多元的启示性解释。为了实现这一点,作者设计了自适应启示指导网络(ARG)用于虚假新闻检测,在这个网络中,小型语言模型从大型语言模型的解释中选择性地获取新闻分析的见解。另外,作者还提出了一个消除解释的版本 ARG-D,用于成本敏感的情境,无需查询大型语言模型。实验证明,ARG 和 ARG-D 在两个真实数据集上的表现优于基于小型语言模型、大型语言模型以及小型和大型语言模型组合的三种基准方法。
Sep, 2023
最近大规模语言模型(LLMs)的进展使得虚假新闻的制造成为可能,本研究旨在确定提示技术是否能够有效缩小 LLM 生成的虚假新闻的欺骗性差距,通过提出一种名为条件变分自编码类提示(VLPrompt)的强大虚假新闻攻击方法,该方法无需额外的数据采集,并且保持了上下文的一致性和原始文本的细节。为了推动 VLPrompt 攻击的检测研究,我们创建了一个新的数据集名为 VLPrompt 虚假新闻(VLPFN),其中包含真实文本和假文本。我们进行了各种检测方法和新颖的人类研究指标的实验,来评估它们在我们的数据集上的性能,得出了众多发现。
Mar, 2024
通过多轮检索策略从网络源自动抽取关键证据进行主张验证的检索增强 LLMs 框架是第一种能自动地并有目的性地从网页信息中提取关键证据的框架,通过在三个现实世界数据集上进行全面的实验证明了该框架对现有方法的优越性。重要的是,我们的模型不仅提供准确的结论,还提供可读的解释,以提高结果的可解释性。
Mar, 2024
本文提出了一个对抗性基准测试,旨在测试虚假新闻检测器推理现实世界事实的能力,使用 BERT 分类器 fine-tuned 在 LIAR arXiv:arch-ive/1705648 和 Kaggle Fake-News 数据集上,结果显示这两种模型在处理组合语义、词汇关系和修饰符等方面的意思变化上存在失败的情况。这表明虚假新闻检测器需要与其他事实检查方法一起使用。
Jan, 2022
本研究通过将大规模视觉 - 语言模型(LVLMs)与特定领域内的造假专有知识相结合,提出了 FakeNewsGPT4,用于检测多模态假新闻并获得更优跨领域性能。实验证明 FakeNewsGPT4 在公共基准测试中表现出优越的性能。
Mar, 2024
本文探讨了现有的假新闻检测方法存在的问题,并提出加入事实核查与语言分析相结合的方法,以应对新闻篡改攻击和真实新闻被误判的情况。作者提出采用众包知识图谱解决新闻事件事实搜集的问题。
Jan, 2019