虚假信息检测中的不确定性解决
本文旨在探究应用通用性、软分类及最新大型语言模型等技术解决误导信息带来的挑战。作者通过比较发现,GPT-4 及其他语言模型相比早期方法有更好的表现,且这些模型应用在软分类框架中,可帮助更好地量化不确定性,而这可能带来意义重大的性能提升。此外,作者还发现 GPT-4 和 RoBERTa-large 在易错性方面存在重大差异,这为深入研究本领域提供了重要线索。总之,本研究为未来进一步解决误导信息带来的实际问题奠定了基础。
May, 2023
自动事实核查(使用机器学习来验证主张)已经变得至关重要,因为虚假信息已经超出了人类事实核查的能力范围。大型语言模型(LLMs),如 GPT-4,越来越受人们的信任,可以验证信息并撰写学术论文、诉讼文件和新闻文章,强调了它们在分辨真假和能够验证其输出的重要性。在这里,我们通过让 LLM 代理人表达查询、检索上下文数据和做出决策来评估 LLMs 在事实核查中的使用。重要的是,在我们的框架中,代理人解释他们的推理并引用检索到的相关来源。我们的结果显示,在配备上下文信息的情况下,LLMs 表现出更强大的能力。GPT-4 优于 GPT-3,但准确性取决于查询语言和主张的真实性。虽然 LLMs 在事实核查方面显示出前景,但仍需要谨慎使用,因为准确性不一致。我们的调研呼吁进一步研究,以更深入地了解代理人何时成功以及何时失败。
Oct, 2023
通过提供准确可信的解释和参考资料,以及纠正多模态信息,MUSE 扩展了大型语言模型的能力,表明了使用 LLMs 有效和高效地应对现实世界的错误信息的潜力。
Mar, 2024
利用大型语言模型(LLMs),本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异,ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性,旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义,强调了在技术先进的同时,还需要考虑伦理道德和人类解读的微妙性。
May, 2024
使用大型语言模型检测科学报道中的虚假信息,针对缺乏明确标签的情况,提出了多种基于大型语言模型的基准架构和提示方法,包括零样本、少样本和连贯思维提示等。
Feb, 2024
大语言模型(LLM)的出现具有革命性的影响。然而,像 ChatGPT 这样的 LLM 是否可能被滥用来生成误导信息,对在线安全和公众信任构成了严重关注。我们从检测难度的角度提出了一个基本的研究问题:LLM 生成的误导信息是否比人类编写的误导信息具有更大的危害性?通过我们的实证研究,我们发现相比于具有相同语义的人类编写的误导信息,LLM 生成的误导信息对于人类和检测器来说更难以检测,这表明它可能具有更具欺骗性的风格,并有可能造成更大的伤害。我们还讨论了我们发现对抗 LLM 时的误导信息在信息时代和相应对策的影响。
Sep, 2023
本文研究了现有检索增强语言模型在面对包含错误信息的检索文档时的健壮性问题,并通过在微调和上下文几次学习中显式微调鉴别器或提示来提高检索增强语言模型对错误信息的容忍度,并揭示了有关在上下文学习过程中将微调模型决策与合并的最佳路径。
May, 2023
本文研究了现代大型语言模型的潜在滥用问题,并探讨其对信息密集型应用的影响,特别是对开放式问题回答系统。我们建立了一个威胁模型,模拟了可能的滥用场景,证明了大型语言模型可以作为有效的错误信息产生器,导致开放式问题回答系统的性能显著降低。为了减轻大型语言模型生成的错误信息带来的危害,我们探索了三种防御策略:提示、错误信息检测和多数投票。尽管最初的结果显示这些防御策略具有有利趋势,但仍需要更多的工作来解决错误信息污染的挑战。我们的工作强调了进一步研究和跨学科合作的必要性,以应对大型语言模型生成的错误信息,促进大型语言模型的负责任使用。
May, 2023
利用会话式引导工程的大型语言模型来对抗数字虚假信息,通过扩展 RumourEval 任务的研究努力,从事推特数据集的真实性预测和立场分类,以 AI 社会公益为主要目标。
Apr, 2024
通过回答三个研究问题,本研究探讨了利用大型语言模型(LLMs)生成的谣言和虚假信息对目前存在的谣言检测技术的影响,以及通过使用 LLMs 作为强大的谣言防御手段以及针对这一威胁的新方法的可能性。
Sep, 2023