Jan, 2024

CATFace: 基于跨属性引导变压器和自注意力蒸馏的低质量人脸识别

PDF
TL;DR通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。
face recognitionsoft biometric attributesmulti-branch neural networkcross-attribute-guided transformer fusionself-attention distillation
发现论文，激发创造
  • 特征聚合的互信息折衷方法在人脸识别中的应用

    本文提出一种利用两种最新的深度人脸识别模型 ArcFace 和 AdaFace 的输出进行聚合的技术，通过利用 Transformer 注意机制来改善人脸识别系统的总体区分能力，并通过引入信息瓶颈原理来确保聚合特征保留最相关和区分能力最强的信息。在流行的基准测试中，我们的方法在人脸识别性能上展现出了一致的改进，证明了其有效性。

    Sep, 2023

  • AAFACE: 面部识别的属性感知注意力网络

    我们提出了一种新的多分支神经网络，同时作为辅助模态进行软生物测量预测并作为主任务进行人脸识别。我们的网络 AAFace 利用软生物测量属性来增强人脸识别表征的区分能力，并通过属性感知注意整合模块（AAI）对人脸识别与软生物测量特征图进行加权整合。实验结果验证了我们提出的网络在软生物测量预测和人脸识别方法方面的卓越性。

    Aug, 2023

  • 具有卷积视觉变换器的强韧面部反欺诈框架

    基于卷积视觉变换器的框架通过全局信息和面部图像中的局部线索来改善人脸识别性能和抵抗领域转变的作用，在面部反欺诈和领域泛化等领域取得了显著的提升。

    Jul, 2023

  • 多粒度跨模态对比学习下的文本引导人脸识别

    通过引入面部属性和语义信息，以提高在低质量图像中进行面部识别的性能为目标，本文介绍了一种名为文本引导的面部识别（TGFR）方法，通过跨模态对齐和融合模块，以及面部特征和文本特征的优化，实现了显著的性能提升。

    Dec, 2023

  • 利用多细粒度环境特征聚合提高基于标题监督的人脸识别

    引入了一种基于描述指导的人脸识别（CGFR）框架来提高商品化人脸识别系统（COTS FR）性能，通过引入面部描述信息作为辅助信息来改善性能，通过使用上下文特征聚合模块（CFAM）和文本特征细化模块（TFRM）来有效地处理文本和面部特征间的异构性，显著提高了 ArcFace 在多模态 CelebA-HQ 数据集上的验证和识别性能。

    Aug, 2023

  • 基于视觉转换器的脑肿瘤分类方法，借助选择性跨注意力机制和特征校准

    提出了一种利用具有新型跨注意力机制的视觉变换器进行脑肿瘤分类的新方法，该方法充分发挥了变换器在建模长距离依赖性和多尺度特征融合方面的优势。实验证明，该方法在脑肿瘤分类中胜过其他最先进的方法，实现了更高的准确性和效率。所提出的特征校准机制和选择性交叉注意机制可以很容易地集成到其他视觉变换器架构中，成为医学图像分析领域未来研究的有希望的方向。

    Jun, 2024

  • FaceCat：利用统一的生成模型框架增强人脸识别安全性

    FaceCat 利用人脸生成模型作为预训练模型，通过精心设计的层次融合机制捕捉人脸生成模型的丰富结构和细节特征，为同时执行人脸反欺骗和对抗检测任务的轻量级头部提供稳定的基础。同时，通过特定文本引导的多模态对齐策略丰富特征表达，提高性能。FaceCat 在 28 种攻击类型的广泛实验中验证了其显著提高的泛化能力和对输入变换的优异鲁棒性。

    Apr, 2024

  • 特征融合视觉 Transformer 用于细粒度视觉分类

    本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

    Jul, 2021

  • 面部表情和口罩佩戴分类的跨任务多分支视觉转换器

    我们提出了一种统一的多分支视觉转换器，用于面部表情识别和口罩佩戴分类任务。我们的方法使用双分支架构提取两个任务的共享特征，获得多尺度特征表示。此外，我们提出了一个跨任务融合阶段，在交换信息的同时，使用交叉注意模块处理每个任务的标记。与为两个任务使用单独的网络相比，我们提出的框架通过简单而有效的跨任务融合阶段降低了总体复杂性。广泛的实验证明，我们提出的模型在面部表情识别和口罩佩戴分类任务上的表现优于或与不同的最新方法相当。

    Apr, 2024

  • CATrans: Few-Shot 分割的上下文和亲和力变换器

    本文提出了一种名为 CATrans 的新型分层结构，通过 Relation-guided Context Transformer 和 Relation-guided Affinity Transformer，将支持和查询二者之间的上下文信息和相似度信息有效结合，用于 Few-shot segmentation 任务，实验表明该方法优于现有的基于 Transformer 的方法。

    Apr, 2022