Sep, 2023

使用 LLM 预测的可信度信号和弱监督检测虚假信息

PDF
TL;DR本文研究大型语言模型（LLMs）是否可以有效激发一组 18 个可信度信号，以产生每个信号的弱标签，然后使用弱监督方法来预测内容的真实性，并演示了该方法在两个虚假信息数据集上的性能优于现有的分类器，同时分析了各个可信度信号对内容真实性预测的贡献，从而为虚假信息检测提供了新的有价值的见解。
credibility signalsveracity assessmentlanguage modelsweak supervisionmisinformation detection
发现论文，激发创造
  • 面向解释性虚假信息检测的联动可信度审查

    本文提出了一种基于可信度评估的体系架构，用于建立分布式机器人网络协同实现误传信息检测，并且通过使用 Schema.org 扩展和 NLP 技术实现语义相似性和态度检测，有效地提高了可伸缩性、领域独立性、可组合性、可解释性和透明度，同时还在 Clef'18 CheckThat! Factuality 任务上取得了新的明显的效果。

    Aug, 2020

  • 利用多源弱社交监督进行假新闻的早期检测

    本研究提出了一种利用社交媒体上的弱标注信号并采用深度神经网络在元学习框架下结合少量干净数据进行训练，以提高虚假新闻的早期检测的方法，实验结果显示该方法可以有效地超越目前的最先进的基准线模型。

    Apr, 2020

  • 利用语言模型的监督信号进行弱监督文本分类

    本文提出了一种利用填空式提示来生成标签信号以进行弱监督文本分类的方法，并使用潜变量模型来学习将生成的单词与预定义类别相关联的单词分布学习器和文档分类器，以实现无需标注数据。通过在三个数据集上的评估，表明我们的方法可以比基线方法提高 2％，4％和 3％。

    May, 2022

  • 大型语言模型能否检测科学新闻报道中的错误信息？

    使用大型语言模型检测科学报道中的虚假信息，针对缺乏明确标签的情况，提出了多种基于大型语言模型的基准架构和提示方法，包括零样本、少样本和连贯思维提示等。

    Feb, 2024

  • 利用薄弱的社交监督检测假新闻

    本文探讨如何利用社交媒体生成弱社交监督来缓解标签数据的匮乏问题，并以社交媒体上的假新闻检测为例，展示了弱社交监督在面对标记数据问题时的有效性，为其他新兴任务学习提供了新思路。

    Oct, 2019

  • 基于弱监督学习利用新闻、发布者和用户的可信度进行假新闻的早期检测

    本文提出了一种新的结构感知多头注意力网络（SMAN），该网络通过联合优化假新闻检测和可信度预测任务，明确地利用出版商和用户的可信度进行早期假新闻检测，实验结果表明 SMAN 可以在 4 小时内以超过 91% 的准确率检测出假新闻，比现有模型快得多。

    Dec, 2020

  • 利用标签精炼从社交媒体话语中构建大规模的虚假信息标记数据集

    本研究提出一种基于新闻来源可信度标签的弱监督学习方法，通过自监督或重新标注等方式纠正可能存在的标签不准确性，构建大规模、多样化的新领域虚假信息数据集。同时，本文应用提出的方法提供了一个 COVID-19 疫苗虚假信息数据集。

    Feb, 2022

  • 宣称检查价值检测：LLM 对标注指南的理解程度如何？

    通过使用零 - 和少 - 次学习模型，将事实和价值评估标准直接用于提示，我们评估了 LLM 在五个不同领域的声明检测和可信度检测数据集上的预测和校准准确性，并发现最佳的提示详细程度取决于领域，提供上下文信息并不改善性能，可信度评分可以直接用于生成可靠的评级。

    Apr, 2024

  • 大型语言模型可以评估新闻媒体的可信度

    本研究评估了 ChatGPT 对新闻机构的可信度评估能力，结果显示大型语言模型可用于事实核查应用程序。

    Apr, 2023

  • SPOT: 从原创性评分阈值预测文本来源

    从信任的角度来研究大型语言模型（LLMs）生成的文本，我们提出了一种有效的方法 SPOT，通过原创度评分来对任意文本输入进行源分类，该方法对于现代 LLMs 的架构、训练数据、评估数据、任务和压缩表现出了稳健性。

    May, 2024