Nov, 2023

多模态应力检测基于面部特征点和生物信息信号

PDF
TL;DR本研究提出了一种多模式学习方法，用于压力检测，该方法结合了面部标记和生物特征信号。我们测试了这种多模式集成的各种早期融合和后期融合技术，以整合来自生物特征信号的一维卷积神经网络模型和使用面部标记的二维卷积神经网络。研究结果表明，后期融合的准确率达到 94.39％，而早期融合的准确率达到 98.38％。该研究通过多模式方法提供了提高压力检测的有价值的见解。
sensing technologiesmulti-modal learningstress detectionfacial landmarksbiometric signals
发现论文，激发创造
  • 多模态机器学习在压力检测中的应用

    该研究提出了一种基于多模态人工智能的框架，以监测一个人的工作行为和压力水平，并发现导致精神紧张和疲劳的个性化独特行为模式，从而检测和分类压力，准确率为 96.09％，可以帮助社区大众，特别是在 COVID-19 当前时间工作久坐人群监测和识别压力水平。

    Jun, 2023

  • 一种具有多模态中间融合网络和流形学习的应对压力检测方法

    通过多模态深度学习方法和流形学习的降维技术，本文提出了一种中间多模态融合网络，成功地在处理和分析数据时降低了计算复杂度，并在准确性方面优于其他网络。

    Mar, 2024

  • MUSER：利用情感识别作为辅助任务的多模态压力检测

    本研究探讨利用情感识别作为辅助任务以提高应对压力的检测，提出 MUSER 模型并针对该模型设计基于速度的动态采样策略的多任务学习算法，在 Multimodal Stressed Emotion（MuSE）数据集上的表现达到了最新的最佳结果。

    May, 2021

  • 个性化预测多模态时间序列数据上经常性压力事件的自监督学习

    利用可穿戴生物信号数据开发了一种多模式个性化应激预测系统，使用自监督学习模型进行预训练，并在少量注释数据下优于非自监督学习模型。该模型具有个性化的预测能力，可应用于使用复杂多模态数据流进行各种周期性健康事件的个性化预测。

    Jul, 2023

  • 基于混合多模态融合的情感维度识别

    本研究使用德语说话者的 Ulm-TSST 数据集，通过使用音频 - 视觉记录和生物信号特征来预测情绪唤醒和价值评估的水平，利用 LSTM 和自我注意机制来捕捉其复杂的时序依赖关系，并借助迟到融合策略进一步提高其识别性能。

    Oct, 2021

  • 多模态潜在情绪识别：微表情与生理信号

    提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

    Aug, 2023

  • 多模态多损失融合网络

    通过多模态特征的最优选择和融合，并结合神经网络以提高情感检测，我们比较了不同的融合方法，并研究了多损失训练对多模态融合网络中子网络性能的影响，发现了与子网络性能相关的有用发现。我们的最佳模型在三个数据集（CMU-MOSI、CMU-MOSEI 和 CH-SIMS）中达到了最先进的性能，并在大多数指标上优于其他方法。我们发现在多模态特征上进行训练可以提高单模态测试的性能，并且基于数据集注释模式设计融合方法可以增强模型性能。这些结果表明了在神经网络中优化特征选择和融合方法以增强情感检测的路线图。

    Aug, 2023

  • 压力移动传感的个性化使用自我监督学习

    使用穿戴设备收集的生物信号数据进行压力预测，通过个性化的自监督学习方法，基于神经网络模型实现了较少标注数据即可达到等效结果，从而辅助移动感知技术在诸如压力等复杂、异质和主观主题上精准度健康评估系统。

    Aug, 2023

  • 面部表情和周边生理融合解码个体化情感体验

    本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。

    Nov, 2018

  • MATT: e-learning 平台多模态关注度估计

    本文提出了一个基于多模态脸部分析的新型远程注意力水平估计系统，它使用多达四个基于卷积神经网络的模块来分析面部表情、眨眼、头部姿势和距离等信号，并评估了这些模块分别进行注意力水平估计和多模态融合的效果。

    Jan, 2023