Mar, 2020

使用跨模态实体一致性度量的现实世界新闻的多模态分析

PDF
TL;DR该研究论文介绍了一种用于跨媒体实体一致性验证的新方法，并应用于真实世界新闻中，旨在支持人类评估多媒体信息的整体消息，特别是在偏见或情感方面。该方法通过使用最先进的方法和几种不同措施计算跨媒体相似性，其中包括使用命名实体链接从新闻文本中提取人物，位置和事件。该论文的数据集和代码均公开，并展示了该方法在不同语言，主题和领域的两个新数据集上的可行性。
multimodal informationcross-modal consistencyfake news detectionnamed entity linkingentity coherence
发现论文，激发创造
  • 利用实体增强框架融合多模态线索提高假新闻检测

    本文围绕多模态虚假新闻检测问题，提出了一种新的提取多模态线索的框架，该框架能够充分地考虑图像文本的三种关系，并在实验证明其优于现有文献的方法。

    Aug, 2021

  • 社交媒体新闻帖子中的多模态语义不一致检测

    本研究提出了一种用于识别社交媒体新闻帖子中视频外观和文本标题之间语义不一致的分类架构，通过使用基于文本分析、自动音频转录、语义视频分析、对象检测、命名实体一致性和面部验证的多模态融合框架来发现社交媒体帖子中的视频和标题之间的不匹配。通过训练和测试基于 4,000 个 Facebook 新闻帖子的新视频数据集，我们的多模态方法在随机标题和外观不匹配的情况下实现了 60.5％的分类准确性，而单模分别准确率不到 50％。进一步的消融研究证实了跨模态融合对于正确识别语义不一致性的必要性。

    May, 2021

  • 保持语义领域对稳健跨模态检索的影响

    本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

    Jul, 2020

  • 利用图像和文本的联合嵌入进行多媒体语义完整性评估

    本文提出了一种基于深度学习的、用于评估包含图像和标题的多媒体包的语义完整性的方法，这样可以检测包的操纵，他们利用一个引用数据集创建图像和标题的联合嵌入，并提供了图像 - 标题一致性得分。作者们还提出了 MultimodAl 数据操纵数据集 (MAIM)，用来验证这种方法的性能。在检测语义不一致的媒体包方面，本方法的 F1 得分分别为 0.75、0.89 和 0.94。

    Jul, 2017

  • 基于知识的视觉问答的跨模态检索

    基于知识的视觉问答（VQA）涉及使用多模态知识库的信息检索，命名实体的多样化视觉表现使其难以识别，我们认为跨模态检索可能有助于弥合实体与其描述之间的语义差距，对单模态检索产生互补作用，通过对最近的 ViQuAE、InfoSeek 和 Encyclopedic-VQA 数据集上的实验，我们提供了经验证据。此外，我们研究了三种不同的模型微调策略：单模态、跨模态或联合训练。我们的方法结合了单模态和跨模态检索，与三个数据集上的数十亿参数模型相竞争，同时在概念上更简单、计算上更廉价。

    Jan, 2024

  • 针对新闻图像字幕生成的实体感知多模态对齐框架

    新闻图像标题任务是图像标题任务的一种变体，要求模型生成与新闻图像和相关新闻文章更相关的标题。多模态大型语言模型在近年来得到快速发展，并在新闻图像标题任务中具有良好的前景。然而，根据我们的实验，普通的多模态大型语言模型在零样本学习环境中生成实体方面的能力还十分有限。仅仅在新闻图像标题数据集上进行微调后，它们处理实体信息的能力仍然不够。为了获得一个更强大的模型来处理多模态实体信息，我们设计了两个多模态实体感知对齐任务和一个对齐框架来对齐模型并生成新闻图像标题。我们的方法在 GoodNews 数据集上的 CIDEr 分数（72.33 -> 86.29）和 NYTimes800k 数据集上的 CIDEr 分数（70.83 -> 85.61）上取得了比先前最先进模型更好的结果。

    Feb, 2024

  • 基于内容和多模态的开放领域图片事实核查在线资源

    该研究提出了一种基于多模态证据的检查方法，通过对图像和标题进行事实检查，有效应对了当前社交网络中易传播的虚假信息。同时，引入了一种名为 'Consistency-Checking Network' 的新型架构，模拟了人类跨模态推理的过程。

    Nov, 2021

  • 检测跨模态不一致性以防御神经假新闻

    本文介绍了一种有效的防御机制，其可以用于防御包括图像和标题在内的机器生成的虚假新闻，并通过创建一个包含 4 种不同类型的生成文章的 NeuralNews 数据集以及进行一系列基于此数据集的人类用户研究实验来确定敌方可能会利用的潜在弱点。此外，本文提供了一种相对有效的方法，基于检测视觉语义不一致性的方法，这将成为有效的第一防线和未来防御机器生成的虚假信息的有用参考资料。

    Sep, 2020

  • 知识引导下的双重一致性模型用于多模态谣言检测

    提出一种基于知识引导的双一致性网络，用于检测具有多媒体内容的谣言，该网络具有两个一致性检测子网络，可同时捕获跨模态和内容 - 知识水平的不一致性，并在不同丢失视觉模态条件下实现鲁棒的多模态表示学习。该框架在三个公共实际多媒体数据集上的广泛实验表明，可以在完整和不完整的多模态条件下优于最先进的基线。

    Jun, 2023

  • 通过跨媒体知识提取和基础加固进行多媒体多跳新闻问答的 MuMuQA

    本文介绍了一个包含 1,384 个跨媒体对象基于新闻文章的多步骤问题的 QA 评估基准，并提出了一个新颖的多媒体数据增强框架，用于自动增强可以为此任务提供弱监督的数据。在我们的基准上评估了基于流水线和端到端预训练的多媒体 QA 模型，并表明它们实现了有希望的性能，但相当滞后于人类表现，因此为未来此挑战性新任务留下了很大的空间。

    Dec, 2021