Aug, 2023

警惕欺骗：通过受控声明编辑检测半真相并揭穿其真相

PDF
TL;DR我们创建了一个包含半真实检测模型和声明编辑模型的综合流程，通过使用 T5 模型进行闭环控制的声明编辑来帮助解决互联网上半真实言论的问题。我们的方法在编辑后的声明上实现了平均 BLEU 得分为 0.88，并且 85% 的虚假揭穿得分。重要的是，相比于 GPT2、RoBERTa、PEGASUS 和 Tailor 等其他语言模型，我们基于 T5 的方法在虚假揭穿得分上平均提升了 82%、57%、42% 和 23%。通过扩展 LIAR PLUS 数据集，我们的半真实检测模型达到了 82% 的 F1 得分，创造了领域的新纪录。虽然以前有过半真实检测的尝试，但我们的方法是我们所知道的第一个试图揭穿半真实言论的。
half-truthsinternetpipelineclaim editingt5 model
发现论文，激发创造
  • 说真话：欺骗的语言与语言模型

    基于一项新型电视游戏节目数据的分析，我们检验了在目标真相存在的情况下，人们辨别文本内容真实性的能力，显示了存在一类能够与人类具有相似真相检测性能的检测器模型，这一模型基于大型语言模型，通过学习可分辨线索来确定真相，该模型在很多情况下能够检测出人类无法察觉的欺骗语言线索，并为与算法的协作提供了可能，进而增强人类的真相检测能力。

    Nov, 2023

  • 用火攻火：LLM 在制作和检测隐蔽虚假信息中的双重作用

    我们提出了一种新型的 “以毒攻毒” 策略，利用现代大型语言模型的生成和推理能力来对抗人类撰写和大型语言模型生成的虚假信息。通过使用 GPT-3.5-turbo 合成真实和具有欺骗性的大型语言模型生成内容，并结合上下文语义推理技术判断真实和虚假的帖子和新闻文章，我们观察到 GPT-3.5-turbo 在不同数据集上的优越性，准确率达到 68-72%。

    Oct, 2023

  • 评估基于 BERT 预训练语言模型在检测谣言方面的表现

    本研究提出了使用基于 BERT 的预训练语言模型将文本数据编码为向量，并利用神经网络模型进行分类以检测谣言，进一步比较不同语言模型的表现与可训练参数。然后在不同的短文本和长文本数据集上进行了测试，结果表明该技术的表现优于现有技术，并测试其组合数据集的表现，结果表明大数据的训练和测试对提高技术的性能具有相当大的作用。

    Mar, 2022

  • TruthfulQA：衡量模型模仿人类错误的程度

    提出了一种 benchmark 以衡量语言模型在生成答案时是否真实，测试了 GPT-3、GPT-Neo/J、GPT-2 和基于 T5 的模型，发现最好的模型能够在 58％的问题上保持真实，建议使用不同于模仿网页文本的训练目标来进行微调以提高真实性。

    Sep, 2021

  • Factify 2: 多模态假新闻检测研究结果

    社交媒体的迅速增长导致虚假新闻泛滥，因此自动检测和验证虚假信息的研究变得尤为重要。本研究介绍了 Factify 2 任务的结果，提供了一个多模态事实验证和讽刺新闻数据集，并使用基于多模态关系将社交媒体索求与支持文件进行比较，最终得到 81.82% 的最高 F1 分数。

    Jul, 2023

  • 模型对模型欺骗评估

    高性能语言模型的可信度在能够生成欺骗性输出时受到威胁，本研究提出了一种方法来调查复杂的模型对模型的欺骗情景，并通过创建一个包含超过 10,000 个具有误导性的解释的数据集，发现当模型阅读这些解释时，它们都被显著欺骗，令人担忧的是，所有能力的模型都能成功地误导其他人，而能力更强的模型只稍微更擅长抵抗欺骗，因此建议开发检测和防御欺骗的技术。

    May, 2024

  • 评估 GPT-3 在检测虚假政治陈述中的有效性：基于 LIAR 数据集的案例研究

    本研究利用 GPT-3 模型对 LIAR 数据集进行实验，证明该模型在检测政治虚假陈述方面的效果超越了基于其他方法的现有模型，并在设计提示的情况下尝试零样本学习，取得了接近现有模型的性能。

    Jun, 2023

  • 使用 Transformer 进行可解释的口语欺骗检测

    本文提出并评估了六种深度学习模型，包括 BERT（和 RoBERTa），MultiHead Attention，co-attentions 和 transformers，结果表明我们的基于 transformer 的模型可以提高自动化的欺骗检测性能（+2.11％的准确率），并显示与真实和欺骗陈述中 LIWC 特征使用相关的显着差异。

    Oct, 2022

  • 究竟是否 “越大越好”？应用于应对虚假信息的索赔检测语言模型的全面研究

    本研究比较了经过调整的模型和极大语言模型在可检测可信度主张的任务中的性能。通过使用包含不同来源和风格的文本构建了一个多语种和多主题数据集，并基于此进行了基准分析，确定了最通用的多语种和多主题主张检测器。我们选择了三个最先进的模型进行了可检测可信度主张任务的调整，并选择了三个无需任何调整的最先进极大语言模型。通过对模型进行修改以适应多语种环境，并进行了广泛的实验和评估。在域内和跨域情景中，我们评估了所有模型的准确性、召回率和 F1 分数。我们的结果表明，尽管在自然语言处理领域取得了技术进步，但针对可检测可信度主张任务的调整模型在跨域设置中仍然优于零样本方法。

    Nov, 2023

  • 虚假信息检测中的不确定性解决

    使用新的方法解决 GPT-4 等大型语言模型在处理模糊或缺乏背景信息的陈述时的不确定性，并通过基于 LIAR-New 数据集的分类标签提出一个可适用于跨领域内容的框架来解析丢失的信息。我们利用这个框架生成有效的用户查询，相比基准方法，我们的方法提高了用户可回答的问题的比例 38 个百分点，宏观 F1 分类性能提高了 10 个百分点以上。因此，该方法可能成为未来对抗虚假信息的有价值组成部分。

    Jan, 2024