Dec, 2023

多粒度跨模态对比学习下的文本引导人脸识别

PDF
TL;DR通过引入面部属性和语义信息，以提高在低质量图像中进行面部识别的性能为目标，本文介绍了一种名为文本引导的面部识别（TGFR）方法，通过跨模态对齐和融合模块，以及面部特征和文本特征的优化，实现了显著的性能提升。
face recognitiontext-guided face recognitionfacial attributessemantic informationlow-quality images
发现论文，激发创造
  • 利用多细粒度环境特征聚合提高基于标题监督的人脸识别

    引入了一种基于描述指导的人脸识别（CGFR）框架来提高商品化人脸识别系统（COTS FR）性能，通过引入面部描述信息作为辅助信息来改善性能，通过使用上下文特征聚合模块（CFAM）和文本特征细化模块（TFRM）来有效地处理文本和面部特征间的异构性，显著提高了 ArcFace 在多模态 CelebA-HQ 数据集上的验证和识别性能。

    Aug, 2023

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • 高效的令牌引导下的图像文本检索与一致多模态对比性训练

    本文提出了一种基于 Token-Guided Dual Transformer (TGDT) architecture 的图像文本检索框架，将粗粒度和细粒度表示学习结合到一个统一的框架中，并提出了一种名为同步多模态对比损失的新型训练目标，通过混合全局和本地跨模态相似性的两个阶段的推理方法，实现了与代表性最新方法相比极低的推理时间下，实现了最先进的检索表现。

    Jun, 2023

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • TeG-DG：面部反欺诈的文本引导领域泛化

    提出了一种文本引导的域泛化框架，用于增强人脸反欺诈技术的域泛化性能，通过文本信息进行跨域对齐，设计了多层次注意融合模块和文本增强视觉判别器，实现了更好的分类和域适应能力，并在极度有限的源域数据情况下展示了令人印象深刻的少样本性能。

    Nov, 2023

  • 基于 CLIP 的细粒度文本图像人员再识别

    提出了一种基于 CLIP 驱动的细粒度信息挖掘框架 (CFine)，旨在为 TIReID 提供强大的多模态知识，通过细粒度信息挖掘，建立跨模态对齐，并在多个基准测试上显示了其优越的性能。

    Oct, 2022

  • 基于属性引导的人脸纹理掩码加密

    本文提出了一种名为 “AGE-FTM” 的算法，在保证高攻击成功率的同时实现了良好的可视化质量，它利用的是 GAN 来生成与面部属性修改后的空间一致的对手样本，并使用面部纹理掩蔽攻击来生成微不可见的不在空间内的对手样本，实验结果证明在面部识别 API 测试中，AGE-FTM 是一种有效的实用方法。

    May, 2023

  • CMFN: 跨模态融合网络用于不规则场景文字识别

    提出了一种新颖的交叉模态融合网络（CMFN），用于不规则场景文本识别，将视觉线索融入语义挖掘过程中，实验证明该算法在性能上与最先进的算法相当，验证了其有效性。

    Jan, 2024

  • 通过跨模态递进理解进行参考图像分割

    该研究提出了一种基于自然语言表达的交叉模态渐进理解模块和文本引导的特征交换模块，以及基于多模态图推理来高效解决图像分割的问题，并在四个广泛应用的分割数据集中实现了最先进的性能。

    Oct, 2020

  • CATFace: 基于跨属性引导变压器和自注意力蒸馏的低质量人脸识别

    通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。

    Jan, 2024