May, 2023

多模态自动事实核查：一项调查

PDF
TL;DR本文调查了自动化事实核查并提出了一个多模式事实核查的框架，其中包含针对多模态误传播的子任务。研究重点在于文字、图像、音频和视频四种在实际事实核查中普遍存在的模态。调查了基准和模型，并讨论了未来研究的局限性和有前途的方向。
misinformationautomated fact-checkingmultimodaltextimage
发现论文，激发创造
  • 多模态虚假信息检测调查

    本研究为现有多模式虚假信息检测技术提供了一份综述，重点关注了文本、图像、语音、视频、社交媒体网络结构和时间信息等多种组合形式，并探讨了未来研究的方向和挑战，同时提出需要在相同框架内考虑虚假信息的真实性和危害程度。

    Mar, 2021

  • 多模态虚假信息检测：方法、挑战及机遇

    本文分析社交媒体中多模态环境下的虚假信息与图片 / 视频利用的挑战和机会，探讨现存技术及其不足，旨在进一步提升多模态虚假信息检测的技术。

    Mar, 2022

  • 社交网络中检测谣言的可解释化模态框架

    本文介绍了一种基于多模态视角的自动虚假信息检测方法，提出了一种基于可解释性方法的虚假信息分类框架，从而增加决策的可解释性和完整性。

    Dec, 2022

  • Factify 2: 多模态假新闻检测研究结果

    社交媒体的迅速增长导致虚假新闻泛滥，因此自动检测和验证虚假信息的研究变得尤为重要。本研究介绍了 Factify 2 任务的结果，提供了一个多模态事实验证和讽刺新闻数据集，并使用基于多模态关系将社交媒体索求与支持文件进行比较，最终得到 81.82% 的最高 F1 分数。

    Jul, 2023

  • FACTIFY3M: 基于 5W 问答的多模态事实验证基准

    为解决社交媒体上大规模的多模态虚假信息检测问题，我们介绍了一个名为 FACTIFY 3M 的数据集，包含了 3 百万个样本，其中包括文本声明、图像、像素级图像热力图和 5W 问答对等元素，并且提供了可解释性的概念。

    May, 2023

  • 2022 Logically 论文：多模式事实验证

    本文描述了我们在 2022 AAAI 多模态事实验证（Factify）挑战上的参与系统。 我们处理该挑战为多模态蕴含任务，作为多类分类，并提出并探索了两种基线方法，包括集成模型和多模态注意力网络。 我们在此工作中测试了不同 SoTA 预训练变换器和视觉模型。 最佳模型在排行榜中排名第一， 平均 F - 度量值为 0.77。 最后，我们强调了未来研究的任务和多模态数据集的挑战。

    Dec, 2021

  • 自动化事实核查综述

    本文综述了基于自然语言处理的自动事实核查技术及其在相关学科里的应用。该技术使用自然语言处理、机器学习、知识表示和数据库等技术预测声称的可信度，同时介绍了现有数据集和模型，旨在统一各种定义并识别通用概念，最后提出了未来研究的挑战。

    Aug, 2021

  • 基于内容和多模态的开放领域图片事实核查在线资源

    该研究提出了一种基于多模态证据的检查方法，通过对图像和标题进行事实检查，有效应对了当前社交网络中易传播的虚假信息。同时，引入了一种名为 'Consistency-Checking Network' 的新型架构，模拟了人类跨模态推理的过程。

    Nov, 2021

  • 基于 Transformer 和迁移学习的多模态事实核查：UofA-Truth @ Factify 2022

    本文介绍了我们的方法，针对多模式信息传播中的虚假新闻进行了自动化的网络谣言 / 虚假信息检测，最终我们在 De-Factify@AAAI2022 FACTIFY 机器学习竞赛中获得了第四名，F1-score 为 74.807%。

    Jan, 2022

  • 基于结构一致性的多模态事实验证: Factify 2 中的 INO

    本文介绍了我们在 AAAI2023 的多模态事实验证（FACTIFY）挑战中的方法。我们提出了一个基于结构一致性的多模态事实验证方案来分类虚假新闻，通过随机森林分类器将特征进行合并并获得了 0.8079 的加权平均 F1 分数。

    Mar, 2023