AAAIFeb, 2023

使用特征表示的参数高效多模态事实验证基于大型基础模型的三重检查团队 Factify 2

PDF
TL;DR本文介绍了 Pre-CoFactv2 框架，使用多模态、多类型融合方法以及特征表示来实现文本与图像的多模态事实验证，并使用统一的集成方法提高模型性能， 最终在 AAAI 2023 的 Factify challenge 中获得了最高成绩和新的最佳结果。
multi-modal fact verificationpre-cofactv2 frameworkcross-modalitiesensemble methodstate-of-the-art results
发现论文，激发创造
  • 2022 Logically 论文：多模式事实验证

    本文描述了我们在 2022 AAAI 多模态事实验证（Factify）挑战上的参与系统。 我们处理该挑战为多模态蕴含任务，作为多类分类，并提出并探索了两种基线方法，包括集成模型和多模态注意力网络。 我们在此工作中测试了不同 SoTA 预训练变换器和视觉模型。 最佳模型在排行榜中排名第一， 平均 F - 度量值为 0.77。 最后，我们强调了未来研究的任务和多模态数据集的挑战。

    Dec, 2021

  • Factify 2022 上的团队 Yao：利用预训练模型和协同注意力网络进行多模态事实验证

    提出了一个 Pre-CoFact 框架来解决社交媒体上的虚假信息问题，其包括两个预训练模型和多个共同注意网络，并采用集成方法以提高性能。该框架在 Factify 挑战赛上取得了第五名，证明了其在不使用辅助任务或额外信息的情况下获得了竞争力。

    Jan, 2022

  • 基于结构一致性的多模态事实验证: Factify 2 中的 INO

    本文介绍了我们在 AAAI2023 的多模态事实验证（FACTIFY）挑战中的方法。我们提出了一个基于结构一致性的多模态事实验证方案来分类虚假新闻，通过随机森林分类器将特征进行合并并获得了 0.8079 的加权平均 F1 分数。

    Mar, 2023

  • 基于证据检索技术和 Transformer 编码架构的多模式事实核查系统 Factify2

    本文描述了我们在多模态事实检查挑战中的提交，包括探索的证据检索和选择技术，预训练的跨模态和单模型，以及基于 Transformer Encoder 体系结构的跨模态准确性模型等内容，并在 Factify 2 数据集上进行的探索性分析揭示了突出的多模态模式和假设。最终系统，实现了在任务一的加权平均值为 0.79 的性能和排名第三的成绩。

    Jan, 2023

  • Factify5WQA 中的三重团队：以精细调整设立事实验证标准

    本文介绍了 Pre-CoFactv3，一种包括问题回答和文本分类组件的综合框架，用于事实验证。通过利用上下文学习、经过微调的大型语言模型（LLMs）和 FakeNet 模型，我们解决了事实验证的挑战。我们的实验探索了不同的预训练 LLMs、引入 FakeNet 和实施各种集成方法。值得注意的是，我们的团队 Trifecta 在 AAAI-24 Factify 3.0 研讨会上获得了第一名，超过基准准确率 103%，并保持与第二名竞争者的 70% 领先优势。这一成功突显了我们方法的有效性以及对推进事实验证研究的潜在贡献。

    Mar, 2024

  • Factify 2: 多模态假新闻检测研究结果

    社交媒体的迅速增长导致虚假新闻泛滥，因此自动检测和验证虚假信息的研究变得尤为重要。本研究介绍了 Factify 2 任务的结果，提供了一个多模态事实验证和讽刺新闻数据集，并使用基于多模态关系将社交媒体索求与支持文件进行比较，最终得到 81.82% 的最高 F1 分数。

    Jul, 2023

  • 基于 Transformer 和迁移学习的多模态事实核查：UofA-Truth @ Factify 2022

    本文介绍了我们的方法，针对多模式信息传播中的虚假新闻进行了自动化的网络谣言 / 虚假信息检测，最终我们在 De-Factify@AAAI2022 FACTIFY 机器学习竞赛中获得了第四名，F1-score 为 74.807%。

    Jan, 2022

  • Factify 2: 一份多模态假新闻和讽刺新闻数据集

    本研究提供 FACTIFY2 这一多模态事实核查数据集以及相关算法，并使用新数据源和添加讽刺文章来改进 FACTIFY1，FACTIFY2 具有 50,000 个新实例数据，包含支持、无证据和驳斥三个分类以及文本和视觉数据的三个子分类，使用基于 BERT 和 Vision Transformer 的基础模型的测试集 F1 分数为 65％。

    Apr, 2023

  • FACTIFY3M: 基于 5W 问答的多模态事实验证基准

    为解决社交媒体上大规模的多模态虚假信息检测问题，我们介绍了一个名为 FACTIFY 3M 的数据集，包含了 3 百万个样本，其中包括文本声明、图像、像素级图像热力图和 5W 问答对等元素，并且提供了可解释性的概念。

    May, 2023

  • 多模式摘要的细粒度和可解释性事实评估

    多模态概括旨在根据文本和图像生成简洁的摘要，但现有方法潜在地存在不实输出。为了评估多模态概括模型的真实性，我们提出了两个细粒度且可解释的评估框架（FALLACIOUS），用于不同的应用场景，即基于参考物的真实性评估框架和基于非参考物的真实性评估框架。值得注意的是，基于非参考物的真实性评估框架不需要基准真实性，因此具有更广泛的应用场景。为了评估提出框架的有效性，我们计算了其与其他度量标准之间的相关性。实验结果显示了我们提出方法的有效性。我们将通过 Github 发布我们的代码和数据集。

    Feb, 2024