一种视觉语言式的通用人脸表征学习方法
探索使用高性能预训练方法来提高面部分析任务的面部表示质量,在自我监督预训练框架中引入具有面部任务特殊调整的掩蔽图像建模和对比策略,并在大规模数据集上验证其优越性。
Sep, 2023
本文讨论了学习通用人脸表征的最佳方法,介绍了用于面部表征学习的综合评估基准,研究了人脸表示学习的两种方法(监督和非监督预训练),并调查了训练数据集的重要特征,通过大量实验,发现无监督的预训练方法在各种人脸任务中表现出一致性和显著的准确性提高,同时也发现现有的一些人脸视频数据集存在大量的冗余。
Mar, 2021
本研究提出了一种新型的自监督人脸表征学习框架 (Facial Region Awareness, FRA),目标是通过匹配面部局部表征来学习一致的全局和局部面部表征,并通过在特征图上计算面部蒙版嵌入的余弦相似度来获取热图,进而证明在面部分类和回归任务中,FRA 模型优于之前的预训练模型和现有方法。
Mar, 2024
本文提出了一种通用表征学习框架来提高人脸识别的性能,包括合成训练数据、分割特征嵌入、用不同自信值调整训练的过程,以及通过正则化分类和对不同划分的变体进行对抗训练损失来减少相关性。实验结果表明,该方法在 LFW 和 Megaface 等人脸识别数据集上取得了最佳性能,而在 Tinyface 和 IJB-S 等极端数据集上表现显著优于其他方法。
Feb, 2020
本文提出了 FashionViL,一个针对时尚领域的视觉语言(V+L)表征学习框架,包含两个周到设计的预训练任务:多视角对比学习和伪属性分类学习,以及一个基于 Transformer 的灵活多用途模型架构,将其广泛适用于各种 V+L 任务,并在 5 个下游任务上取得了最佳成果。
Jul, 2022
提出了基于规范化选择的适应性规范化表示学习框架,可提高面部反欺诈的泛化能力并具有较高的鲁棒性。通过实验验证了该方法在 SOTA 竞争者中的有效性。
Aug, 2021
本文提出了一种基于对比学习的新颖视角不变的面部表情识别框架 ViewFX,能够准确分类面部表情,无论输入的观察角度如何。该方法利用自监督对比损失来学习表情的视角不变特征,同时引入有监督对比损失来使学得的特征与其他表情区分开。经过实验验证,该方法在公开多视角面部表情识别数据集 KDEF 和 DDCF 上表现优于以往的方法,成为了新的最佳方法,并且在面对具有挑战性的观察角度和训练样本标签数目时具有较低的敏感性。同时,还进行了详尽的敏感度和消融实验,评估了模型不同部分的影响以及对不同参数的敏感性。
Nov, 2023
提出了一个基于三元组生成的时尚特定预训练框架和可同时执行时尚检索和字幕任务的灵活解码器模型设计,具有跨模态检索、图像检索、图像字幕和多模态分类等多种功能。
Oct, 2022
本文主要研究面部表示学习及其在面部识别中的应用,通过自我监督预训练学习未标记面部图像以提高面部识别性能,并采用基于地标的面部自我监督学习(LAFS)方法,通过提取面部地标实现关键表示学习,同时结合地标特定的数据增强以增加地标信息多样性,进而调节学习过程中地标位置的差异,并在多个面部识别基准测试中取得显著的改进效果,尤其是在更具挑战性的少样本情景中。
Mar, 2024