May, 2023

ARBEx: 针对健壮面部表情学习的注意力特征提取与可靠性平衡

PDF
TL;DR本文介绍了一种新的注意力特征提取框架 ARBEx，该框架由 Vision Transformer 驱动，具有可靠性平衡功能，可以应对面部表情学习任务中的类别分布不佳、偏差和不确定性。与基于窗口的交叉注意力 ViT 一起，我们加强了几种数据预处理和细化方法，同时在嵌入空间中引入了学习型锚点、标签分布和多头自我注意机制，以优化性能，减弱标签预测中的弱预测，从而增强标签预测的韧性。同时，引入了锚损失，以鼓励锚点之间的大间隔，提高模型的辨别能力。通过大量实验，在各种情境下，我们的方法优于目前最先进的方法。
arbexvision transformerfacial expression learningreliability balancingmulti-head self-attention mechanism
发现论文，激发创造
  • 批量 Transformer：在批次中寻找注意力

    提出了一种批处理转换器网络（BTN），它包含了类批处理注意（CBA）模块和多级注意（MLA）模块来提取可信赖信息并防止过拟合，在各种表情识别基准数据集上实验结果显示，BTN 相对于 FER 领域的最新成果有着持续的优越表现。

    Jul, 2024

  • 通过半监督预训练和时间建模探索面部表情识别

    我们提出了一种半监督学习技术来生成未标记面部数据的表情类别伪标签以解决有限 FER 数据集的泛化能力问题，并采用均匀抽样和去偏反馈学习策略来应对数据集中的类别不平衡问题和半监督学习中的数据偏差问题。此外，引入了时间编码器来学习和捕捉静态图像之间的临近表情特征的时间关系，并在第 6 届 ABAW 竞赛中在官方验证集上取得了优秀的成绩，充分证实了我们提出方法的有效性和竞争力。

    Mar, 2024

  • 特征聚合的互信息折衷方法在人脸识别中的应用

    本文提出一种利用两种最新的深度人脸识别模型 ArcFace 和 AdaFace 的输出进行聚合的技术，通过利用 Transformer 注意机制来改善人脸识别系统的总体区分能力，并通过引入信息瓶颈原理来确保聚合特征保留最相关和区分能力最强的信息。在流行的基准测试中，我们的方法在人脸识别性能上展现出了一致的改进，证明了其有效性。

    Sep, 2023

  • CATFace: 基于跨属性引导变压器和自注意力蒸馏的低质量人脸识别

    通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。

    Jan, 2024

  • 基于 Transformer 的多模态信息融合用于面部表情分析

    本研究介绍了一种基于多模态特征和 Transformer 的统一框架，用于情感行为分析和表情识别任务，同时运用数据平衡和增强方法进一步提高模型性能。实验证明，该方法在 ABAW3 竞赛中在 EXPR 和 AU 方面排名第一。

    Mar, 2022

  • 面部表情和口罩佩戴分类的跨任务多分支视觉转换器

    我们提出了一种统一的多分支视觉转换器，用于面部表情识别和口罩佩戴分类任务。我们的方法使用双分支架构提取两个任务的共享特征，获得多尺度特征表示。此外，我们提出了一个跨任务融合阶段，在交换信息的同时，使用交叉注意模块处理每个任务的标记。与为两个任务使用单独的网络相比，我们提出的框架通过简单而有效的跨任务融合阶段降低了总体复杂性。广泛的实验证明，我们提出的模型在面部表情识别和口罩佩戴分类任务上的表现优于或与不同的最新方法相当。

    Apr, 2024

  • 使用 Transformer 评估文本归因的对抗鲁棒性

    通过提出 attribution robustness（AR）的概念，使用一系列文本相似性度量来捕捉两个文本的局部性和不可感知性，并提出了 TransformerExplanationAttack（TEA）的概念，利用最先进的语言模型，提取单词替换，从而展示了对于几种文本分类架构的实验，证明了 TEA 在提高对上下文敏感性的同时，更加流畅，更不易被察觉。

    Dec, 2022

  • 基于注意力关系网络的面部动作单元识别

    本文提出了一种基于注意力机制的关系网络（ABRNet），该网络可以自动捕获不同 AU 之间的关系，使用自我注意力融合模块来提高特征的稳健性，并提出了 AU 关系丢失策略和 AU 关系损失来进一步改善 AU 识别。实验证明，该方法在 DISFA 和 DISFA+ 数据集上实现了最先进的性能。

    Oct, 2022

  • 彻底搜索：解决不平衡的面部表情识别中的额外知识

    提出了一种新的面部表情识别方法，在不平衡的数据集中利用重新平衡的注意力图和重新平衡的平滑标签，使模型能够从所有训练样本中提取与次要类别相关的变换不变信息，并在不平衡的面部表情识别任务中取得了最先进的性能。

    Oct, 2023

  • 第六届 ABAW 比赛中的 HSEmotion 团队：面部表情、情绪价值 - 唤醒度和情绪强度预测

    本论文介绍了利用预训练的深度模型在静态照片上提取可靠情感特征的可能性，并通过多任务场景中的轻量级模型来识别面部表情、价值和唤起。实验结果表明，与现有的非集成技术相比，我们的方法显著提高了验证集上的质量指标。

    Mar, 2024