Aug, 2023

利用多细粒度环境特征聚合提高基于标题监督的人脸识别

PDF
TL;DR引入了一种基于描述指导的人脸识别（CGFR）框架来提高商品化人脸识别系统（COTS FR）性能，通过引入面部描述信息作为辅助信息来改善性能，通过使用上下文特征聚合模块（CFAM）和文本特征细化模块（TFRM）来有效地处理文本和面部特征间的异构性，显著提高了 ArcFace 在多模态 CelebA-HQ 数据集上的验证和识别性能。
caption-guided face recognitioncommercial-off-the-shelf face recognitioncontextual feature aggregation moduletextual feature refinement modulemulti-modal celeba-hq dataset
发现论文，激发创造
  • 多粒度跨模态对比学习下的文本引导人脸识别

    通过引入面部属性和语义信息，以提高在低质量图像中进行面部识别的性能为目标，本文介绍了一种名为文本引导的面部识别（TGFR）方法，通过跨模态对齐和融合模块，以及面部特征和文本特征的优化，实现了显著的性能提升。

    Dec, 2023

  • 特征聚合的互信息折衷方法在人脸识别中的应用

    本文提出一种利用两种最新的深度人脸识别模型 ArcFace 和 AdaFace 的输出进行聚合的技术，通过利用 Transformer 注意机制来改善人脸识别系统的总体区分能力，并通过引入信息瓶颈原理来确保聚合特征保留最相关和区分能力最强的信息。在流行的基准测试中，我们的方法在人脸识别性能上展现出了一致的改进，证明了其有效性。

    Sep, 2023

  • CATFace: 基于跨属性引导变压器和自注意力蒸馏的低质量人脸识别

    通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。

    Jan, 2024

  • 基于帧聚合和多模态融合的视频人员识别框架

    通过 Frame Aggregation and Multi-Modal Fusion framework 框架，将注意力机制引入 NetVLAD 模块进行视频内的人物识别，同时引入了 Multi-Layer Multi-Modal Attention 模块进行多模态相关性建模，实验结果表明该方法优于其他现有方法。

    Oct, 2020

  • 基于自注意力和对比特征的上下文感知群体字幕生成

    本文提出了一个新任务 —— 上下文感知组图描述，旨在在与相关参考图像组的上下文中描述一组目标图像。为了解决这个问题，我们提出了一个结合自注意机制和对比特征构建的框架，有效地总结了每个图像组的共同信息的同时捕获了它们之间的区别信息。本文所构建的数据集包括 Conceptual Captions 跨模态描述数据集和我们的新 Stock Captions 数据集。在这两个数据集上的实验证明了我们的方法在这个新任务中的有效性。

    Apr, 2020

  • 视频人脸识别特征聚合网络

    本文提出了一种基于元注意力聚合的方法来学习视频紧凑表示以实现视频人脸识别任务，并对其进行了实验验证和性能比较。

    May, 2019

  • 跨域人脸表情识别：统一评估基准和对抗性图学习

    本文针对不同面部表情识别（FER）数据集间的数据不一致性问题，提出了一种新的跨域 FER 方法（AGRA），通过将图表示传播与对抗学习相结合，实现了域内和跨域间简化特征的自适应共适应。简单说，这个方法可以更好地识别面部表情并且比以前的方法表现更好。

    Aug, 2020

  • 基于多粒度参考引导的注意力特征聚合技术用于基于视频的人员重识别

    提出一种名为 MG-RAFA 的关注特征汇聚模块，用于将空间 - 时间特征精细地聚合成具有判别性的视频级别特征表示，采用全局视图与卷积操作学习关注，并基于不同粒度的关系学习多粒度关注，实现了视频 ReID 任务上的最新成果。

    Mar, 2020

  • 基于类别感知的文本场景识别的掩膜引导特征细化

    提出了一种名为 Class-Aware Mask-guided feature refinement（CAM）的新方法来改善复杂背景、文本样式噪声等方面对场景文本识别的挑战，并通过标准字体生成规范的类感知字形掩码来增强特征区分性、设计特征对齐和融合模块来进一步提升文本识别的特征细化。在六个标准文本识别基准测试中，CAM 展示出优于先进方法的优势，平均性能提高了 4.1％，并且使用较小的模型尺寸。该研究强调了在鲁棒场景文本识别中融入规范的掩码指导和对齐特征细化技术的重要性。

    Feb, 2024

  • GCF: 图卷积网络用于面部表情识别

    该研究提出了一种名为 GCF 的新方法，利用图卷积网络进行面部表情识别，通过将卷积神经网络用于特征提取，并结合图卷积神经网络层，有效提高了识别准确率，对 CK+，JAFFE 和 FERG 等数据集进行了评估，并证明了 GCF 方法在捕捉微妙面部表情方面的有效性，为人脸表情识别的实际应用提供了更高的准确性和稳健性。

    Jul, 2024