May, 2022

端到端多模态事实核查与解释生成：一组具有挑战性的数据集和模型

PDF
TL;DR我们提出了一种端到端的多模态事实核查和解释生成方法，利用包括文章、图片、视频以及推特在内的大量网络资源来评估索赔的真实性，并生成一个有理化陈述来解释推理和裁定过程。我们构建了 Mocheg，这是一个大规模数据集，包括 21,184 个索赔和 58,523 条文本和图像形式的证据。我们在多模态证据检索、索赔验证和解释生成三个子任务上进行了几种最先进的神经网络结构的实验，以建立基准性能，并展示端到端多模态事实核查的最新性能仍然远远不够令人满意。据我们所知，我们是第一个建立端到端多模态事实核查和证明基准数据集和解决方案的研究团队。
end-to-endmultimodalfact-checkingevidence retrievalneural architectures
发现论文，激发创造
  • 2022 Logically 论文：多模式事实验证

    本文描述了我们在 2022 AAAI 多模态事实验证（Factify）挑战上的参与系统。 我们处理该挑战为多模态蕴含任务，作为多类分类，并提出并探索了两种基线方法，包括集成模型和多模态注意力网络。 我们在此工作中测试了不同 SoTA 预训练变换器和视觉模型。 最佳模型在排行榜中排名第一， 平均 F - 度量值为 0.77。 最后，我们强调了未来研究的任务和多模态数据集的挑战。

    Dec, 2021

  • FACTIFY3M: 基于 5W 问答的多模态事实验证基准

    为解决社交媒体上大规模的多模态虚假信息检测问题，我们介绍了一个名为 FACTIFY 3M 的数据集，包含了 3 百万个样本，其中包括文本声明、图像、像素级图像热力图和 5W 问答对等元素，并且提供了可解释性的概念。

    May, 2023

  • Factify 2: 一份多模态假新闻和讽刺新闻数据集

    本研究提供 FACTIFY2 这一多模态事实核查数据集以及相关算法，并使用新数据源和添加讽刺文章来改进 FACTIFY1，FACTIFY2 具有 50,000 个新实例数据，包含支持、无证据和驳斥三个分类以及文本和视觉数据的三个子分类，使用基于 BERT 和 Vision Transformer 的基础模型的测试集 F1 分数为 65％。

    Apr, 2023

  • 支持现实世界事实核查的多模态大型语言模型

    对多模态大型语言模型在事实检查方面的能力和局限性进行了系统评估，发现 GPT-4V 在识别恶意和误导性多模态论断方面表现出优越性能，具备解释不合理方面和潜在动机的能力，同时已有的开源模型存在强烈的偏见，并对提示非常敏感。这项研究为对抗虚假多模态信息和构建安全可靠的多模态模型提供了启示，据我们所知，这是第一次对多模态大型语言模型进行真实世界事实检查的评估。

    Mar, 2024

  • MultiFC: 一个真实世界的多领域数据集，用于基于证据的声明事实核查

    本研究提供了最大的公共数据集，用于自动声明验证，从 26 个英文事实检查网站中收集，标记了真实性，并使用人工专家记者，结果显示自动排名证据页面和预测真实性的新方法胜过所有基线。

    Sep, 2019

  • 基于证据检索技术和 Transformer 编码架构的多模式事实核查系统 Factify2

    本文描述了我们在多模态事实检查挑战中的提交，包括探索的证据检索和选择技术，预训练的跨模态和单模型，以及基于 Transformer Encoder 体系结构的跨模态准确性模型等内容，并在 Factify 2 数据集上进行的探索性分析揭示了突出的多模态模式和假设。最终系统，实现了在任务一的加权平均值为 0.79 的性能和排名第三的成绩。

    Jan, 2023

  • RU22Fact：俄乌冲突国际化可解释事实核查的证据优化

    基于大型语言模型，从网络中自动检索和总结证据，以解决可解释的事实检查系统中提供足够和相关证据的挑战，并通过 RU22Fact 构建一个新颖的多语言可解释的事实检查数据集，基于该数据集开发出了一个端到端的可解释的事实检查系统，实验结果表明优化的证据可以提高事实检查性能，并显示端到端声明验证和解释生成任务有进一步进展的可能性。

    Mar, 2024

  • 多模式摘要的细粒度和可解释性事实评估

    多模态概括旨在根据文本和图像生成简洁的摘要，但现有方法潜在地存在不实输出。为了评估多模态概括模型的真实性，我们提出了两个细粒度且可解释的评估框架（FALLACIOUS），用于不同的应用场景，即基于参考物的真实性评估框架和基于非参考物的真实性评估框架。值得注意的是，基于非参考物的真实性评估框架不需要基准真实性，因此具有更广泛的应用场景。为了评估提出框架的有效性，我们计算了其与其他度量标准之间的相关性。实验结果显示了我们提出方法的有效性。我们将通过 Github 发布我们的代码和数据集。

    Feb, 2024

  • 事实核查解释生成的基准测试

    自动化生成证明（说明为何某主张被分类为真或假）的过程在抵制虚假信息方面起到重要作用，这篇论文针对无结构知识（如新闻文章）的摘要方法进行了实验证明，结果显示，通过基于主张信息的抽取步骤改善摘要性能可以从证明生成摘要中获益。

    Aug, 2023

  • Fin-Fact：一个用于多模态金融事实核查和解释生成的基准数据集

    本文提出了 Fin-Fact，这是一个在金融领域内进行多模态事实检查的基准数据集，它包含专业事实检查员的注释和证明，旨在对抗金融领域的错误信息，增强事实性分析，提高金融报告和新闻传播的透明度和信任，并通过提供深入的解释和见解，使用户能够理解事实检查决策背后的推理，验证主张的可信度，以及促进对事实检查过程的信任。

    Sep, 2023