Nov, 2023

说真话：欺骗的语言与语言模型

PDF
TL;DR基于一项新型电视游戏节目数据的分析，我们检验了在目标真相存在的情况下，人们辨别文本内容真实性的能力，显示了存在一类能够与人类具有相似真相检测性能的检测器模型，这一模型基于大型语言模型，通过学习可分辨线索来确定真相，该模型在很多情况下能够检测出人类无法察觉的欺骗语言线索，并为与算法的协作提供了可能，进而增强人类的真相检测能力。
text-based misinformationdeceptiontruth detectionlanguage cuescollaboration with algorithms
发现论文，激发创造
  • 多语种、多模态领域无关欺骗检测路线图

    通过使用多语言变形器模型和多语言标注数据，对跨语言和跨模态的虚假语言进行全面研究，以解决在计算机安全和自然语言处理领域的虚假检测任务。

    May, 2024

  • 使用 Transformer 进行可解释的口语欺骗检测

    本文提出并评估了六种深度学习模型，包括 BERT（和 RoBERTa），MultiHead Attention，co-attentions 和 transformers，结果表明我们的基于 transformer 的模型可以提高自动化的欺骗检测性能（+2.11％的准确率），并显示与真实和欺骗陈述中 LIWC 特征使用相关的显着差异。

    Oct, 2022

  • 真相与仅有的真相：用于欺骗检测的多模式分析

    本文提出一种基于数据驱动的自动欺骗检测方法，利用面部特征的移动，声音模式和口头分析来判断证人是否说谎，建立了支持向量机模型，并采用基于词汇分析的视觉和词汇分析相结合的方法

    Mar, 2019

  • 蒙蔽：基于文本游戏中的欺骗与合作

    当前的语言模型是否具有欺骗和识别谎言的能力？我们通过引入一个名为 “Hoodwinked” 的基于文本的游戏，并与 GPT-3、GPT-3.5 和 GPT-4 控制的代理进行实验，发现这些模型具有欺骗和识别谎言的能力，并且较为先进的模型在击败其他模型方面更加有效。

    Jul, 2023

  • 真相机器：在 AI 语言模型中合成真实性

    本文讨论了 AI 系统中真理的斗争及其对 InstructGPT 的性能进行了调查，强调了数据收集、模型架构和社会反馈机制如何将各种看法巧妙地综合并自信地呈现为真实陈述，提出了增强未来语言模型真理评估能力的两个可行方向，即丰富社交性和增强 “现实”。

    Jan, 2023

  • 模型对模型欺骗评估

    高性能语言模型的可信度在能够生成欺骗性输出时受到威胁，本研究提出了一种方法来调查复杂的模型对模型的欺骗情景，并通过创建一个包含超过 10,000 个具有误导性的解释的数据集，发现当模型阅读这些解释时，它们都被显著欺骗，令人担忧的是，所有能力的模型都能成功地误导其他人，而能力更强的模型只稍微更擅长抵抗欺骗，因此建议开发检测和防御欺骗的技术。

    May, 2024

  • TruthfulQA：衡量模型模仿人类错误的程度

    提出了一种 benchmark 以衡量语言模型在生成答案时是否真实，测试了 GPT-3、GPT-Neo/J、GPT-2 和基于 T5 的模型，发现最好的模型能够在 58％的问题上保持真实，建议使用不同于模仿网页文本的训练目标来进行微调以提高真实性。

    Sep, 2021

  • 使用声学和文本特征检测政治辩论中的欺骗行为

    本研究利用真实的政治辩论语音数据集，采用多模态深度学习架构进行欺诈检测以提升检测准确度。实验结果表明，使用语音特征可以有效提高欺诈检测的表现，并将数据集公开以期推进多模态欺诈检测的研究。

    Oct, 2019

  • 大型语言模型生成的文本受到假新闻检测器的偏见

    在大语言模型 (LLMs) 时代，我们发现许多现有的假新闻检测器存在显著偏见，更容易将 LLMs 生成的内容标记为假新闻，而常常误将人类撰写的假新闻分类为真实。为了解决这个问题，我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略，从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究，我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”，将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。

    Sep, 2023

  • 人物角色作为建模语言模型真实性的方法

    大规模语言模型可以通过建模具有真实性特征的个体来聚类真实文本，并利用数据中的分层结构来学习抽象概念，从而扩展对真实与虚假信息的区分能力。

    Oct, 2023