通过大型语言模型构建生成对抗网络以实现可解释假新闻检测
本文提出了一个对抗性基准测试,旨在测试虚假新闻检测器推理现实世界事实的能力,使用 BERT 分类器 fine-tuned 在 LIAR arXiv:arch-ive/1705648 和 Kaggle Fake-News 数据集上,结果显示这两种模型在处理组合语义、词汇关系和修饰符等方面的意思变化上存在失败的情况。这表明虚假新闻检测器需要与其他事实检查方法一起使用。
Jan, 2022
本研究提出了一种利用高资源语言训练数据来检测低资源语言中的假新闻的方法,采用对抗学习技术来实现跨语言的检测知识转移,同时利用源信息提高文章可靠性并通过跨语言特征来提高假新闻检测系统的准确性。经实验证明,此方法可以使假新闻检测系统比使用机器翻译训练数据的系统提高3.71%的准确率,并将跨语言特征的应用提高了3.03%的准确率。
Aug, 2022
在大语言模型(LLMs)时代,我们发现许多现有的假新闻检测器存在显著偏见,更容易将LLMs生成的内容标记为假新闻,而常常误将人类撰写的假新闻分类为真实。为了解决这个问题,我们引入了一种对抗训练与LLMs重写的真实新闻相结合的缓解策略,从而在人类和LLMs生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究,我们发布了两个全面的数据集“GossipCop++”和“PolitiFact++”,将经人工验证的文章与LLMs生成的假新闻和真实新闻相结合。
Sep, 2023
基于大型语言模型的虚假新闻检测研究发现,大型语言模型虽然能提供多元的合理解释,却无法像基于小语言模型的训练过程那样适当选择和结合解释来得出结论。因此,当前的大型语言模型不能替代小型语言模型在虚假新闻检测中的作用,但可以作为小型语言模型的顾问,提供多元的启示性解释。为了实现这一点,作者设计了自适应启示指导网络(ARG)用于虚假新闻检测,在这个网络中,小型语言模型从大型语言模型的解释中选择性地获取新闻分析的见解。另外,作者还提出了一个消除解释的版本ARG-D,用于成本敏感的情境,无需查询大型语言模型。实验证明,ARG和ARG-D在两个真实数据集上的表现优于基于小型语言模型、大型语言模型以及小型和大型语言模型组合的三种基准方法。
Sep, 2023
通过使用大型语言模型(LLMs)生成语言的最新成果,本文提出了一种创建辨别虚假信息的银标准真实数据集的方法,通过在受信任的新闻文章上构建LLMs的提示,自动生成该文章的摘要版本,并针对性地生成具体类型的事实错误,如错误数量、错误归属等,以研究此数据集的实用性,并进行了一系列的实验,训练了一系列用于辨别虚假信息的监督模型。
Jan, 2024
最近大规模语言模型(LLMs)的进展使得虚假新闻的制造成为可能,本研究旨在确定提示技术是否能够有效缩小LLM生成的虚假新闻的欺骗性差距,通过提出一种名为条件变分自编码类提示(VLPrompt)的强大虚假新闻攻击方法,该方法无需额外的数据采集,并且保持了上下文的一致性和原始文本的细节。为了推动VLPrompt攻击的检测研究,我们创建了一个新的数据集名为VLPrompt虚假新闻(VLPFN),其中包含真实文本和假文本。我们进行了各种检测方法和新颖的人类研究指标的实验,来评估它们在我们的数据集上的性能,得出了众多发现。
Mar, 2024
研究通过对比分析,评估了不同大型和小型LLMs在识别和过滤假新闻内容方面的有效性,并利用Kaggle的假新闻数据集样本探讨了当前LLMs在假新闻检测方面的能力和局限性,同时讨论了提高AI驱动信息完整性对开发人员和决策者的影响。
Jun, 2024
通过使用LLMs自动生成各种具有多样性但连贯的风格转换攻击提示,我们的对抗性样式增强模型(AdStyle)改善了对假新闻的检测性能,并提高了鲁棒性。
Jun, 2024
本研究解决了现有大型语言模型(LLM)检测器在应对由中等复杂度攻击者生成的短新闻类信息时的有效性问题。我们发现,不论是零-shot检测器还是特别训练的检测器,其在真实场景中的表现都显著不足,且现有检测方法在增强随机抽样温度的攻击下表现不佳。这表明需要对LLM检测器的基准评估方法进行重新考量,并提出了一个动态可扩展的基准来支持这一点。
Sep, 2024
本研究针对假新闻对信息生态系统和公众信任的威胁,探讨了大型语言模型(LLMs)在生成和检测假新闻中的双重作用。研究发现,一些模型可以产生偏见的假新闻,而大型模型在检测能力上普遍优于传统模型,且LLM生成的假新闻更难被检测识别,这为假新闻的防御提供了新的视角和解决方案。
Sep, 2024