大型语言模型容易受到外部错误信息的影响，特别是在多轮对话中发生信念变化的说服性对话中。本研究通过构建 Fact to Misinform 数据集，研究了大型语言模型对可回答正确的事实问题的说服性对话的敏感性，并发现它们的正确信念容易被各种说服策略操纵。

Dec, 2023

基于一项新型电视游戏节目数据的分析，我们检验了在目标真相存在的情况下，人们辨别文本内容真实性的能力，显示了存在一类能够与人类具有相似真相检测性能的检测器模型，这一模型基于大型语言模型，通过学习可分辨线索来确定真相，该模型在很多情况下能够检测出人类无法察觉的欺骗语言线索，并为与算法的协作提供了可能，进而增强人类的真相检测能力。

Nov, 2023

大型语言模型的长篇生成包含真实和非真实信息，评估真实性变得困难。我们显示了语言模型生成的段落可以包含可验证的事实，但由于实体的歧义性，将这些事实组合形成非真实段落。为了解决这个问题，我们提出了一个增强指标 D-FActScore，特别针对具有歧义实体的内容进行评估。我们发现，D-FActScore 能够比 FActScore 更好地评估具有歧义实体的段落的真实性。我们还发现四个广泛使用的开源语言模型倾向于将不同实体的信息混合以形成非真实段落。

Feb, 2024

本研究提出了一种名为 ClaimDiff 的新的数据集，用于比较包含微妙差别的主张对之间的区别，并帮助人们在各种媒体来源中做出更明智的决策。

May, 2022

科学的论断验证是一个新的任务，其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要，并确定证据。为了研究这个任务，我们构建了 SciFact 数据集，其中包括 1.4K 个专家撰写的科学论断，以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型，并证明简单的领域适应技术可以大大提高性能，并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明，SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。

Apr, 2020

我们引入了一种名为 FactChecker 的新型自动化测试框架，通过构建事实知识图谱、生成包括不同类型问题和正确答案的测试用例，以及使用匹配策略评估大型语言模型的响应准确性，从而揭示了大型语言模型中的事实错误，并展示了测试用例对提高模型的事实准确性的有效性。

Jan, 2024

在研究中，我们发现在常见的 FEVER 数据集中，仅针对声明的分类器与最佳证据感知模型具有相似的性能。为了解决这种现象，我们开发了一个评估集并引入了一种正则化方法以减少训练数据中偏差的影响，并取得了进展。该工作是朝着更加可靠地评估事实验证模型的推理能力迈出的一步。

Aug, 2019

本文研究了在线辩论中事实和情感论证风格的特征，使用一组已注释的 “事实” 的和 “感觉” 的辩论论坛文章，提取高度相关的事实和情感论证模式，并应用引导式方法在更大的未注释的论坛文章池中寻找新的模式，最后分析了最具有鉴别能力的模式，以更好地理解事实和情感论证的定义特征。

Sep, 2017

利用 NLP 技术，研究操纵信息的欺骗行为，特别关注遗漏欺骗，并提出了一个新的欺骗检测框架。研究通过对待欺骗的样本进行多任务学习，取得了强大的性能，并发现遗漏欺骗与宣传技术之间的显著相关性。

Dec, 2023

我们创建了一个包含半真实检测模型和声明编辑模型的综合流程，通过使用 T5 模型进行闭环控制的声明编辑来帮助解决互联网上半真实言论的问题。我们的方法在编辑后的声明上实现了平均 BLEU 得分为 0.88，并且 85% 的虚假揭穿得分。重要的是，相比于 GPT2、RoBERTa、PEGASUS 和 Tailor 等其他语言模型，我们基于 T5 的方法在虚假揭穿得分上平均提升了 82%、57%、42% 和 23%。通过扩展 LIAR PLUS 数据集，我们的半真实检测模型达到了 82% 的 F1 得分，创造了领域的新纪录。虽然以前有过半真实检测的尝试，但我们的方法是我们所知道的第一个试图揭穿半真实言论的。

Aug, 2023