基于极大语言模型的谣言评估
利用大型语言模型(LLMs)进行社交媒体谣言检测的研究,提出了一种 LLM - 驱动的谣言检测方法(LeRuD),通过设计提示教给 LLMs 在新闻和评论中进行推理,并将整个传播信息分割为传播链以减轻 LLMs 的负担,通过在 Twitter 和微博数据集上的实验,LeRuD 在谣言检测方面表现出色,超过了几种最先进的模型,并且通过应用 LLMs,LeRuD 无需训练数据,在少量或零样本情景中显示出更有前景的谣言检测能力。
Feb, 2024
本文提出了一个用于自动检测谣言立场和真实性的多任务学习框架,通过对社交媒体上的巨量数据进行聚类和分析,解决了传统处理方法效率低下的问题,实验证明该方法在 SemEval 2019 的谣言立场分类和真实性预测都优于之前的方法。
Jul, 2020
社交媒体上的谣言验证任务涉及根据产生的会话线程来评估主张的真实性。我们通过使用事后可解释方法评分来得到最重要的帖子,然后使用这些帖子通过模板引导总结生成信息性的解释总结,表明解释的抽象总结比仅使用线程中排名最高的帖子更具信息性并更好地反映了预测的谣言真实性,从而重新制定此任务。
Jan, 2024
通过使用大型语言模型(LLMs)生成语言的最新成果,本文提出了一种创建辨别虚假信息的银标准真实数据集的方法,通过在受信任的新闻文章上构建 LLMs 的提示,自动生成该文章的摘要版本,并针对性地生成具体类型的事实错误,如错误数量、错误归属等,以研究此数据集的实用性,并进行了一系列的实验,训练了一系列用于辨别虚假信息的监督模型。
Jan, 2024
本文提出了一种基于图卷积神经网络的层级多任务学习框架,用于同时预测 Twitter 上谣言立场和可信度,底部组件使用结构属性建模来分类谣言推文的立场,而顶部组件通过利用立场演变的时间动态来预测谣言的真实性。实验结果表明,我们的方法在谣言立场分类和真实性预测方面均优于以往的方法。
Sep, 2019
使用新的方法解决 GPT-4 等大型语言模型在处理模糊或缺乏背景信息的陈述时的不确定性,并通过基于 LIAR-New 数据集的分类标签提出一个可适用于跨领域内容的框架来解析丢失的信息。我们利用这个框架生成有效的用户查询,相比基准方法,我们的方法提高了用户可回答的问题的比例 38 个百分点,宏观 F1 分类性能提高了 10 个百分点以上。因此,该方法可能成为未来对抗虚假信息的有价值组成部分。
Jan, 2024
介绍了 RumourEval 项目,旨在识别和处理文本中的谣言和转发,提出了注释方案和一个包含多个主题的大型数据集,为参与方提出两个具体挑战,并介绍了参与者的成果。
Apr, 2017
对多模态大型语言模型在事实检查方面的能力和局限性进行了系统评估,发现 GPT-4V 在识别恶意和误导性多模态论断方面表现出优越性能,具备解释不合理方面和潜在动机的能力,同时已有的开源模型存在强烈的偏见,并对提示非常敏感。这项研究为对抗虚假多模态信息和构建安全可靠的多模态模型提供了启示,据我们所知,这是第一次对多模态大型语言模型进行真实世界事实检查的评估。
Mar, 2024
本文建立了一个自然语言处理系统来预测谣言并探索了谣言和事实的差异,通过 COVID-19 推文分析,结果表明语言结构是区分谣言和事实的更好特征,而谣言推文中包含更多与政治和负面情绪相关的词汇。
Apr, 2023
本文描述了我们提交到 SemEval 2019 任务 7 的系统:RumourEval 2019:确定谣言真实性和谣言支持,子任务 A。我们使用姿态分类来确定帖子关于前一贴和源贴的谣言立场。本文使用基于 BERT 架构的端到端系统,没有手工特征,在所提供的测试数据中达到了 61.67%的 F1 得分,获得该项竞赛的第二名。
Feb, 2019