Nov, 2018

一种面部表情相似度的紧凑嵌入

PDF
TL;DR通过收集大规模的人脸数据集，我们使用神经网络在一个压缩的嵌入空间中描述面部表情，并取得了在表情检索、相册摘要和情绪识别等各种应用中的良好表现。
facial expressionscontinuous descriptionembedding spaceneural networkexpression retrieval
发现论文，激发创造
  • 面部行动单元检测的全局到局部表情感知嵌入

    本文提出了一种用于促进 AU 检测的新型细粒度全局表情表示编码器以及设计了用于为每个 AU 生成本地面部特征的本地 AU 特征模块。实验结果表明，我们的方法优于现有方法并在 BP4D、DISFA 和 BP4D + 等广泛使用的面部数据集上实现了最先进的性能。

    Oct, 2022

  • 揭示可解释人工智能的自动面部表情识别中的人类相似性：一项经验性探索

    深度学习在面部表情识别方面的模型表现超过了人类，本研究通过比较不同神经网络（包括一般物体分类器和面部表情识别专用模型）来探索深度神经网络与人类感知之间的相似性。使用可解释的全局人工智能方法生成热图，揭示出六种面部表情的关键面部区域，通过定量和定性的方法评估结果，并发现网络体系结构对相似性的影响。

    Jan, 2024

  • 情感嵌入学习：从不同情感数据集中获取稳定统一的抽象

    人类情感的计算研究涉及各种沟通方式和媒体格式，本文提出了一个统一的计算模型，通过学习共享的情感表示来实现对异质数据和标签类型的协同工作，以提高可重用性、可解释性和灵活性，并且不降低预测质量。

    Aug, 2023

  • 利用连续情感标签进行面部表情编辑

    该研究探索了如何采用连续情感表述来控制自动表情编辑，通过深度生成模型，根据具有两个维度的连续情感标签对面部图像中的面部表情进行操作，并通过定量和定性分析展示了模型的功能。

    Jun, 2020

  • 从活动识别的角度进行情绪识别

    通过探索深度学习体系结构在持续情感识别方面的应用，我们提出了一种新颖的三流端到端深度学习回归流程，其中包含一个注意力机制，该机制是基于多个最先进的动作识别系统的子模块的一种组合设计。定量分析表明，所提出的模型优于情感识别和动作识别模型的多个标准基线。

    Mar, 2024

  • 利用先前的面部动作单元知识进行面部情感识别

    我们提出了一种使用面部动作单元（AUs）识别技术来识别情绪的方法，该识别方法基于面部动作编码系统（FACS）并通过机器学习系统计算，以扩展情绪识别技术的能力。

    Nov, 2023

  • 在上下文嵌入中加入面部表情以用于手语生成

    通过增加面部表情来增强手语的语义表示，本研究针对手语生成框架的表现和自然度不足的问题进行了探讨，提出使用双编码转换器来生成手势和面部表情，首次在手语生成中使用面部动作单元，实验证明改进了自动生成手语的质量。

    Feb, 2022

  • 从人类角度出发：人脸的人本表达

    本文介绍 A View From Somewhere (AVFS) 数据集，其中包含了 638,180 个关于面部相似度的人类判断，用于学习与人类感知对齐的低维连续嵌入空间。该空间不仅可以准确预测面部相似性，还提供了人类决策过程中使用的维度的可解析分解和不同注释者对各维度的重要性。我们还展示了该维度在收集连续属性、执行分类和比较数据集属性差异方面的实用性。

    Mar, 2023

  • 移动设备人脸表情、价值、唤起和动作单元的帧级预测

    本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法，可以实现移动设备上的实时视频人脸情感分析，在第三届野外情感行为分析（ABAW）竞赛的大规模 Aff-Wild2 数据集上，与 VggFace 基线相比，我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2，由于简单性，我们的方法可以被视为四个子挑战的新基准。

    Mar, 2022

  • 全局 - 局部表情嵌入辅助面部动作单元检测

    本研究旨在使用没有 AU 标签的表情数据集来促进 AU 检测，开发了一种名为 GLEE-Net 的新型 AU 检测框架，其中包括三个分支来提取独立于身份的表情特征，并通过 Transformer 多标签分类器来融合所有表示以进行 AU 检测。实验表明，该方法在 DISFA，BP4D 和 BP4D + 数据集上显著优于目前的最先进技术。

    Oct, 2022