Sep, 2023

利用模态特征进行多模态操作检测和链接

PDF
TL;DR我们构建了一个简单而新颖的基于 Transformer 的多模态操纵检测和定位任务框架，通过引入视觉 / 语言预训练的编码器和双支路交叉注意力来同时探索模态特定的特征，并提出了解耦的细粒度分类器和自适应地聚合全局上下文线索的隐式操纵查询，从而提高了揭示伪造细节的能力，实验证明我们提出的模型在 $ m DGM^4$ 数据集上表现优于现有方法。
发现论文，激发创造
  • 检测和定位多模态媒体篡改

    本文提出一种新的多模式媒体伪造问题，即检测和定位多模式媒体操纵（DGM^4），构建第一个数据集，并提出了一种新的 HierArchical 多模式操作推理变压器（HAMMER）方法来捕捉不同模态之间的细粒度交互以及在不同的深度上检测和定位操纵。

    Apr, 2023

  • 检测和定位多模态媒体操纵及其拓展

    多模态媒体篡改的检测和处理是一个新的研究问题，本文提出了 DGM^4 数据集和 HAMMER 模型，用于多模态媒体的真伪检测和篡改内容的处理。

    Sep, 2023

  • 统一的频率辅助变压器框架用于多模态操作的检测和定位

    通过引入离散小波变换在多个频率子带中捕捉丰富的人脸伪造特征，并结合图像和频率特征的互补视角，提出了一种统一的频率辅助转换器框架（UFAFormer）来解决多模态媒体篡改问题。实验证明，与之前的方法相比，我们的框架在 DGM^4 数据集上表现出优越性能，并在该领域树立了新的基准。

    Sep, 2023

  • 基于多粒度信息融合的社交媒体多模态假新闻检测

    文章介绍了一种用于检测假新闻的多粒度多模态融合网络模型，并将模型性能与现有方法进行了比较。

    Apr, 2023

  • 面部图像生成和操作的开放式文本引导实现

    该研究提出了一种统一框架来生成和处理面部图像，基于预训练的 GAN 模型，使用两种新颖的策略，直接优化潜在空间的潜在编码以获取多模式输入的图像生成和操纵，并提出了一个大型数据集 Multi-Modal CelebA-HQ。

    Apr, 2021

  • 通过多模态特征对鲁棒领域虚假信息检测

    社交媒体误导信息对个人和社会有害，并且多模态内容（即文本和图像）使其更具 “可信度”，高于仅有文本的新闻报道。我们提出一种新颖的鲁棒领域与多模态方法（RDCM），用于多模态误导信息的检测，通过领域内对齐模块降低领域漂移，并通过跨模态对齐模块弥合两种模态之间的语义差距。在两个公开的多模态误导信息检测数据集（Pheme 和 Twitter 数据集）上的评估结果证明了该模型的优越性。

    Nov, 2023

  • 端到端多模式视频时间定位

    本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

    Jul, 2021

  • 多模态机器翻译的视觉注意力基础神经模型

    我们介绍了一种新颖的多模式机器翻译模型，利用平行的视觉和文本信息。该模型通过视觉注意力锚定机制链接视觉和文本语义，并实现共享的视觉 - 语言嵌入和翻译器的联合优化，取得了在 Multi30K 和 Ambiguous COCO 数据集上有竞争力的最新结果。我们还收集了一个新的多语言多模态产品描述数据集来模拟真实的国际在线购物场景。在这个数据集上，我们的视觉注意力锚定模型以大幅度优于其他方法的表现脱颖而出。

    Aug, 2018

  • 利用文本为视觉表示建立通用领域基础

    本文提出了一种基于自然语言监督的跨模态领域泛化方法，利用视觉和文本交互的表征来实现高级别类别判别的信息融合，并使用可解释的模型来生成解释，从而提高模型的泛化能力和性能。作者的方法在多个数据集上均取得了最新领先的结果。

    Jul, 2022

  • 适用于少样本细粒度识别的跨模态幻象技术

    提出一种基于深度学习的多模态方法，通过有意义的联合嵌入来弥合模型训练中数据不足的信息差距，并通过跨模态数据幻觉框架提出了一个区分性文本条件生成对抗网络，改进了基于 CUB 数据集的一、二、五次学习的模型准确性。

    Jun, 2018