FACTIFY3M: 基于 5W 问答的多模态事实验证基准
本研究提供 FACTIFY2 这一多模态事实核查数据集以及相关算法，并使用新数据源和添加讽刺文章来改进 FACTIFY1，FACTIFY2 具有 50,000 个新实例数据，包含支持、无证据和驳斥三个分类以及文本和视觉数据的三个子分类，使用基于 BERT 和 Vision Transformer 的基础模型的测试集 F1 分数为 65％。
Apr, 2023
社交媒体的迅速增长导致虚假新闻泛滥，因此自动检测和验证虚假信息的研究变得尤为重要。本研究介绍了 Factify 2 任务的结果，提供了一个多模态事实验证和讽刺新闻数据集，并使用基于多模态关系将社交媒体索求与支持文件进行比较，最终得到 81.82% 的最高 F1 分数。
Jul, 2023
本文描述了我们在 2022 AAAI 多模态事实验证（Factify）挑战上的参与系统。 我们处理该挑战为多模态蕴含任务，作为多类分类，并提出并探索了两种基线方法，包括集成模型和多模态注意力网络。 我们在此工作中测试了不同 SoTA 预训练变换器和视觉模型。 最佳模型在排行榜中排名第一， 平均 F - 度量值为 0.77。 最后，我们强调了未来研究的任务和多模态数据集的挑战。
Dec, 2021
本文介绍了我们的方法，针对多模式信息传播中的虚假新闻进行了自动化的网络谣言 / 虚假信息检测，最终我们在 De-Factify@AAAI2022 FACTIFY 机器学习竞赛中获得了第四名，F1-score 为 74.807%。
Jan, 2022
本文介绍了我们在 AAAI2023 的多模态事实验证（FACTIFY）挑战中的方法。我们提出了一个基于结构一致性的多模态事实验证方案来分类虚假新闻，通过随机森林分类器将特征进行合并并获得了 0.8079 的加权平均 F1 分数。
Mar, 2023
本文提出了一个基于 5W 问答的可解释性事实验证框架，使用语义角色标记系统定位 5W 并生成 QA 对，我们获得了一个半自动生成的 FACTIFY-5WQA 数据集，并提出了一个基线 QA 系统自动定位从证据文件中的答案。最后，我们提出了一个强大的事实验证系统，可以对改写的声明进行自动验证。
May, 2023
我们提出了一种端到端的多模态事实核查和解释生成方法，利用包括文章、图片、视频以及推特在内的大量网络资源来评估索赔的真实性，并生成一个有理化陈述来解释推理和裁定过程。我们构建了 Mocheg，这是一个大规模数据集，包括 21,184 个索赔和 58,523 条文本和图像形式的证据。我们在多模态证据检索、索赔验证和解释生成三个子任务上进行了几种最先进的神经网络结构的实验，以建立基准性能，并展示端到端多模态事实核查的最新性能仍然远远不够令人满意。据我们所知，我们是第一个建立端到端多模态事实核查和证明基准数据集和解决方案的研究团队。
May, 2022
本研究为现有多模式虚假信息检测技术提供了一份综述，重点关注了文本、图像、语音、视频、社交媒体网络结构和时间信息等多种组合形式，并探讨了未来研究的方向和挑战，同时提出需要在相同框架内考虑虚假信息的真实性和危害程度。
Mar, 2021
本文调查了自动化事实核查并提出了一个多模式事实核查的框架，其中包含针对多模态误传播的子任务。研究重点在于文字、图像、音频和视频四种在实际事实核查中普遍存在的模态。调查了基准和模型，并讨论了未来研究的局限性和有前途的方向。
May, 2023