Jul, 2023

可视化提示的灵活模态人脸反欺诈

PDF
TL;DR最近，基于视觉变换器的多模态学习方法被提出来改善人脸反欺诈系统的鲁棒性。然而，由于各种成像传感器的缺失模态，从真实世界中收集的多模态人脸数据往往是不完整的。在本文中，我们提出了 “视觉提示灵活多模态人脸反欺诈” （VP-FAS）的方法，通过学习与模态相关的提示来适应冻结的预训练基础模型到下游的灵活多模态人脸反欺诈任务。我们的实验证明了 VP-FAS 框架在各种缺失模态情况下提高了性能，同时减轻了对重训练的要求。
vision transformermultimodal learningface anti-spoofingflexible-modal fasmissing modality
发现论文，激发创造
  • 多模态视觉识别中缺失模态的多模态提示

    本文提出一种使用 prompt learning 的多模态学习框架，从而解决真实世界中遇到的模态缺失和模型训练资源需要的挑战。框架中含有 modality-missing-aware prompts，可插入到多模态 transformers 中处理不同的模态缺失情况，同时只需要少于 1% 的可学习参数。实验结果表明，该框架有效地提高了在各种模态缺失情况下的性能。

    Mar, 2023

  • 朝向健壮的多模式提示：缺失模态

    使用具体的提示设计来提高多模态学习的性能和鲁棒性，并减少提示的数量。

    Dec, 2023

  • FM-ViT：面部反欺诈的灵活模态视觉变压器

    本文提出了一种基于 Transformer 的框架，名为 Flexible Modal Vision Transformer (FM-ViT)，用于面部防欺骗，以灵活地针对任何单模态攻击情景和可用的多模态数据。实验结果表明，单个基于 FM-ViT 的模型不仅可以灵活评估不同的模态样本，而且在较小的 FLOPs 和模型参数的情况下，也可以超越现有的单模态框架，并与多模态框架的性能相当。

    May, 2023

  • 多模态语义理解的提示专家混合

    在人工智能领域，深度多模态语义理解已经引起了越来越多的关注，挑战主要集中在收集和标注高质量的多模态数据，突显了几次学习的重要性。本文针对这一背景下的两个关键任务：少样本多模态讽刺检测（MSD）和多模态情感分析（MSA），提出了一种基于统一视觉语言模型（VLM）的创新多模态软提示框架：MoPE-BAF（Mixture-of-Prompt-Experts with Block-Aware Prompt Fusion）。我们设计了三个软提示专家：文本提示和图像提示，以提取模态特定特征，丰富单模态表示；同时，提出了多模态交互的统一提示。此外，我们将 Transformer 层重组为多个块，并在相邻块之间引入跨模态提示注意力，以平稳实现从单模态表示到多模态融合的过渡。在少样本设置下的 MSD 和 MSA 数据集上，我们提出的模型不仅仅在参数（150M）上超越了 8.2B 模型 InstructBLIP，而且在 VLMs 或任务特定方法中也大大优于其他广泛使用的提示方法。

    Mar, 2024

  • 具有提示的模块化和参数高效的多模态融合

    本文提出使用提示向量来对齐模态，从而实现在低资源情况下，与其他多模态融合方法相当的性能，并且进一步表明这种方法对处理包含两种或两种以上数据模态的任务是模块化和参数高效的。

    Mar, 2022

  • 抑制和平衡：通往广义多模式人脸反欺诈

    在人脸识别系统中，针对演示性攻击，多模态学习方法面临模态不可靠性和模态不平衡性的挑战，本研究提出了 Uncertainty-Guided Cross-Adapter (U-Adapter) 和 Rebalanced Modality Gradient Modulation (ReGrad) 两种方法来解决这些问题，在多模态人脸反欺骗中取得了优于现有方法的性能。

    Feb, 2024

  • 通过交互提示实现高效多模态融合

    该论文提出了一种高效灵活的多模式融合方法 PMF，可用于融合单模式预训练变压器。在此基础上，还将香草提示解开为三种类型，以学习多模态学习的不同优化目标，并且仅在单模态变压器的深层次上添加提示向量，从而显著减少了训练的内存使用

    Apr, 2023

  • 视觉提示的多模式跟踪

    本文提出了一种基于视觉提示学习的多模态跟踪方法，通过学习模态相关的提示来适应预训练好的基础模型，在 RGB + 深度、RGB + 热等多个跟踪任务中表现优秀，实现了参数效率和最先进性的平衡。

    Mar, 2023

  • FLIP: 跨领域人脸反欺骗技术与语言引导

    通过使用多模态预训练与自然语言语义对齐图像表示以改善面部反欺骗任务的泛化能力，进一步利用多模态对比学习策略弥合源域与目标域之间的差距，实现鲁棒的跨领域面部反欺骗。

    Sep, 2023

  • 相似度感知的多模态提示学习用于假新闻检测

    本篇研究提出了一个基于相似性感知的多模态提示学习框架 (SAMPLE) 用于检测假新闻，通过三种提示模板和一种软性描述器分析，并采用自适应融合方法来减少因不相关的交叉模态特征注入噪音，实验表明相较于先前方法，SAMPLE 在两个基准多模态数据集中的 F1 值和准确性均有所提高。另外，SAMPLE 不论在少量数据或是数据丰富的情况下都优于其他方法。

    Apr, 2023