May, 2024

探索一种基于多模态融合的深度学习网络用于面瘫检测

PDF
TL;DR通过融合多模态深度学习模型，利用非结构化数据（即带有面部线段的图像帧）和结构化数据（即面部表情特征），本研究旨在检测面部麻痹，并分析不同数据模式和多模态融合方法的效果，实验证明在不同数据模式中使用面部表情特征的前馈神经网络具有最高的准确率，为 76.22，而使用面部线段图像的基于 ResNet 的模型具有最高的召回率，为 83.47。当同时利用面部线段图像和面部表情特征时，多模态融合深度学习模型稍微提高了准确率至 77.05，但减少了召回率。
发现论文，激发创造
  • 基于深度学习的自动面部识别系统用于成年脑性麻痹病人的疼痛评估

    研究使用深度学习技术构建面向脑瘫患者的自动面部表情识别系统，以提高神经病变和沟通障碍患者疼痛识别的准确性和敏感性。

    Jan, 2024

  • 多模融合深度学习模型在疾病识别中的应用

    本文介绍了一种创新的多模态融合深度学习方法，以克服传统单模态识别技术的缺点，包括信息不完整和诊断准确性有限。通过应用先进的深度学习模型（包括卷积神经网络（CNN），循环神经网络（RNN）和变换器）从基于图像、时间和结构化数据源提取高级特征。融合策略组件旨在确定适合特定疾病识别任务的最佳融合模式。在实验部分，我们比较了拟议的多模态融合模型与现有的单模态识别方法的性能。研究结果表明，在多个评估指标上，多模态融合模型具有显著的优势。

    May, 2024

  • 通过投影网络对具有异构维度的数据进行深度多模态融合

    本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

    Feb, 2024

  • 多模态深度面部表示的鲁棒人脸识别

    本篇论文提出了一种使用多模式信息联合学习人脸表征的深度学习框架，该框架包括一组卷积神经网络和三层堆叠自动编码器，使用公开可用的数据集训练，取得了超过 99％的人脸识别率。

    Sep, 2015

  • 多任务多模态自监督学习的面部表情识别

    通过多模态多任务自监督学习方法，利用无标签的野外视频数据，实现了面部表情识别的模型，并在多个基准测试中取得了优秀的性能表现。

    Apr, 2024

  • 视频中以眼为焦点的贝尔氏面瘫检测

    本文提出使用基于视频的检测方法，仅通过检测被试者的眼睛即可检测出贝尔氏麻痹。作者发现受影响的一侧眼睑往往无法完全闭合，使得两只眼睛的闪烁模式产生明显差别。作者在此基础上开发了一项新的特征量 —— 闪烁相似度，能够帮助实现对贝尔氏麻痹的敏感和高效检测，而且更加便捷和经济。

    Jan, 2022

  • 使用深度多姿态表示进行人脸识别

    使用多个面向姿态的深度学习模型进行人脸识别，其中处理面部图像生成多个具有不同姿态特点的卷积神经网络特征，并使用这些特征的集合来减少对姿势变化的敏感性。在多个实验中，我们展示了该方法在人脸识别任务的表现优于现有技术。

    Mar, 2016

  • 基于数据驱动和模型驱动的面部关键点鲁棒检测

    本文介绍了一种结合数据和模型的方法来完成面部关键点的检测，即先利用全卷积网络（Fully Convolutional Network, FCN）来生成脸部所有关键点的响应图，再利用 Point Distribution Model（PDM）生成初始面部形状，最后使用加权变体的正则化关键点均值漂移（RLMS）来微调面部形状，实验表明本文提出的方法在面部表情、头部姿态和部分遮挡等挑战性数据集上都能够取得最好的表现。

    Nov, 2016

  • MultiFusionNet：多层次多模态深度神经网络的胸部 X 光图像分类

    通过利用卷积神经网络，提出了一种基于多层多模态融合模型的新型深度学习疾病检测模型，能够从不同层次提取特征并融合它们，在胸部 X 射线图像的疾病分类中取得了高达 97.21% 和 99.60% 的显著准确率，具有准确的疾病分类潜力，并可推广至其他胸部 X 射线图像中的疾病分类。

    Jan, 2024

  • 面部表情和周边生理融合解码个体化情感体验

    本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。

    Nov, 2018