Jul, 2018

基于 CNN 的移动设备面部情感分析

PDF
TL;DR该研究旨在设计、部署和评估应用于移动设备的基于卷积神经网络（CNN）的面部情感分析架构，通过提出三种 CNN 架构并在野外基准面部图像数据集上进行比较评估，发现这些架构在保持较高性能的同时最小化存储需求，并且可以部署在基于移动设备上实时视频流上，同时还实现了基于预测用户情感的音乐推荐界面。
convolutional neural networkfacial affect analysismobile devicesemotion classificationmusic recommendation
发现论文，激发创造
  • 实时卷积神经网络用于情感和性别分类

    本文提出并实现了一个通用的卷积神经网络（CNN）构建框架，用于设计实时 CNN。我们通过创建一个实时视觉系统来验证我们的模型，在一个混合步骤中同时完成面部检测、性别分类和情感分类的任务。我们提供了训练过程设置的详细信息，并在标准基准集上进行了评估，报告了 IMDB 性别数据集中 96% 和 FER-2013 情感数据集中 66% 的准确性。此外，我们还介绍了最近的实时启用的引导反向传播可视化技术。引导反向传播揭示了权重变化的动态，并评估了学习到的特征。我们认为，仔细实施现代 CNN 架构、使用当前的正则化方法和可视化以前隐藏的特征对于缩小慢速性能和实时架构之间的差距是必要的。我们的系统通过在 RoboCup＠Home 比赛中使用的 Care-O-bot 3 机器人上部署进行了验证。我们的所有代码、演示和预训练的架构都在我们的公共存储库中以开源许可证发布。

    Oct, 2017

  • 利用预训练于大型人脸识别数据集上的卷积神经网络进行视频情感分类

    本文提出了一种由多个利用卷积神经网络和大规模人脸识别数据集进行训练得到的强大行业级人脸识别网络组成的集成模型，该模型对视频中的空间和音频特征进行捕获，从而提高情绪识别的准确性，并在不使用视觉时间信息的情况下，将测试集的最佳结果提高了约 1％，实现了 60.03％的分类准确度。

    Nov, 2017

  • 移动设备人脸表情、价值、唤起和动作单元的帧级预测

    本文提出了一种基于单个预训练 AffectNet 的 EfficientNet 模型提取面部特征的新颖的帧级情感识别算法，可以实现移动设备上的实时视频人脸情感分析，在第三届野外情感行为分析（ABAW）竞赛的大规模 Aff-Wild2 数据集上，与 VggFace 基线相比，我们的简单模型在单任务表情分类、趋势 - 觉醒估计和表情分类的验证集中的性能指标高 0.15-0.2，由于简单性，我们的方法可以被视为四个子挑战的新基准。

    Mar, 2022

  • 能否准确使用 CNN 分类人类情绪？一项基于深度学习的面部表情识别研究

    该研究探讨了 CNN 模型识别和分类人类面部表情（积极、中立、消极）的能力，通过对芝加哥人脸数据库的预处理数据进行训练，模型在 10,000 张图像上达到 75% 的准确率，表明实现准确分析人类情感以及实用情感人工智能的可能性。

    Oct, 2023

  • 利用深度残差和卷积神经网络在野外进行面部情感估计

    本文研究自然环境下的情感计算，提出了三种基于神经网络的方法，结合 Inception-ResNet 模块用于面部表情预测，分别为浅层 Inception-ResNet、深层 Inception-ResNet 和带有 LSTMs 的 Inception-ResNet，采用 Deep Inception-ResNet 方法可以实现 valence 和 arousal 误差率分别达到 0.4 和 0.3，相应的 CCC 率分别为 0.04 和 0.29。

    May, 2017

  • 基于深度神经网络的端到端多模态情感识别

    本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

    Apr, 2017

  • 深度神经网络对视频数据情绪识别的改进

    本文通过使用卷积神经网络和循环神经网络来识别视频数据中的情感，分析两种神经网络对系统性能的贡献，并在实验中实现了优于基线和其他竞争方法的表现。

    Feb, 2016

  • 基于统计学的 CNN 音频视觉特征选择用于瞬时估计人类情感状态

    使用卷积神经网络统计学习从互信息选择的最小冗余最大相关性的表情特征进行回归，可以高于传统的音频或视频特征，实时预测情感状态的准确度。

    Aug, 2017

  • 从像素到情感：通过微调 CNN 进行视觉情感预测

    本研究探讨了如何利用卷积神经网络 (CNNs) 在社交媒体图片数据中进行视觉情感分析，通过微调实验和架构分析，本文提出了几种架构修改方法，使得模型对于图片情感的准确预测性能得到提升，并通过对模型的本地模式展示提供关于模型对于视觉正负情绪感知的见解。

    Apr, 2016

  • 深情感：利用注意力卷积网络进行面部表情识别

    该文介绍了针对面部表情识别问题，提出了一种基于注意力卷积网络的深度学习方法，并采用可视化技术确定了识别不同情绪对应的重要面部区域，相比先前的模型在多个数据集上都取得了明显的改进。

    Feb, 2019