Mar, 2024

通过多模态测量探索认知负荷和情绪激发的动态相互作用：瞳孔直径与情绪激发在情感参与任务中的相关性

PDF
TL;DR通过多模态数据分析和基于最先进的传感器技术（如眼动跟踪和面部行为编码系统）的数据验证，教育研究人员可以研究多方面的学习和问题解决过程，以及改善教育经验。本研究旨在调查两种连续传感器流（瞳孔直径作为认知负荷指标和基于深度学习的面部行为编码系统作为情绪激活指标）之间的相关性，并分析情绪激活和瞳孔直径数据之间的时间延迟。结果显示情绪激活和瞳孔直径数据之间存在负相关，相关性仅在高情绪激活阶段为负相关，而在中等或低情绪激活阶段存在正相关但不显著。未来研究应考虑情绪调节策略和情感价值。
multimodal data analysissensor streamscognitive workloademotional arousalcorrelation analysis
发现论文，激发创造
  • Thelxinoë：使用瞳孔测量和机器学习识别人类情绪

    使用瞳孔测量的虚拟现实情绪识别方法，通过分析虚拟现实头戴设备对视觉和听觉刺激的瞳孔直径响应，从时域、频域和时频域提取关键特征并利用特征选择获取最重要的特征，再应用集成学习技术中的梯度提升模型，通过特征工程将准确率从 84.9% 提升至 98.8%，该研究为 Thelxino"e 框架作出了显著贡献，旨在通过整合多个传感器数据实现更真实和情感共鸣的触感交互，研究结果为进一步发展沉浸式交互虚拟现实环境以及虚拟触觉技术打开了新的可能性。

    Mar, 2024

  • 面部表情和周边生理融合解码个体化情感体验

    本文提出了一种多模态方法，结合分析面部运动和多个外部生理信号，通过考虑个体化休息动态来解码正负情感体验。通过构建人体特征循环网络，解码个体面部运动和生理数据的动态耦合关系，并在其基础上训练推理模型，将个体的情感体验进行预测和验证。

    Nov, 2018

  • 利用多模式传感器测量认知负荷

    本研究使用多模式感知方法和机器学习来识别一组指标，以估计认知负荷水平。通过进行一组认知测试，利用四种传感器来测量参与者的生理变化以及 Chi-Square 卡方分析法揭示了它们的感知认知负荷水平的差异，研究利用三种分类算法分别使用这些生理数据进行训练和测试，并证明使用 ECG 和 EDA 的结合可以获得良好的辨别能力。

    May, 2022

  • CLARE: 实时多模态数据中的认知负荷评估

    我们提供了一个新颖的多模态 Cognitive Load Assessment 实时数据集 (CLARE)，其中包含来自 24 名参与者的生理和注视数据，并以自我报告的认知负荷评分作为基准标签。数据集包括四种模态，分别是心电图 (ECG)、皮肤电活动 (EDA)、脑电图 (EEG) 和注视跟踪。我们还对两种不同的评估方案，即 10 折交叉验证和留一法交叉验证 (LOSO)，使用机器学习和深度学习模型提供了基准二分类结果。基准结果表明，在 10 折交叉验证中，基于卷积神经网络 (CNN) 的深度学习模型在 ECG、EDA 和注视跟踪上实现了最佳的分类性能；而在 LOSO 中，基于 ECG、EDA 和脑电图 (EEG) 的深度学习模型表现最佳。

    Apr, 2024

  • 基于集成学习的评估情感体验和生理变化动态

    测量和数据分析等最新技术的应用为解决情感体验和生理变化之间的相似性问题提供了希望，开放科学和开放数据实践以及面向学术界的数据分析挑战也是解决这一问题的有希望的工具。

    Dec, 2023

  • 使用 fNIRs 和机器学习的情绪状态检测

    本研究旨在利用生理数据检测情感状态，通过功能近红外光谱法，并使用机器学习进行分类，结果显示针对冥想、娱乐和认知负荷三种情感状态的研究中，个体模型的平均准确率为 83.04%，群体模型的准确率为 84.39%，而个体无关模型的准确率为 60.57%。同时发现，通过纸笔任务可更准确地识别出认知负荷情感状态。

    Feb, 2024

  • 基于情感计算的体验质量（QoE）预测的新方法

    提出了一种基于情感计算驱动的体验质量（QoE）预测的新模型，使用多通道脑电图（EEG），心电图（ECG）和呼吸数据训练深度学习模型，比较了模型的性能，并对最佳模型进行了优化以提高结果。

    Nov, 2023

  • 从学习管理系统到情感辅导系统：初步研究

    研究了多种指标（包括表现、行为参与度和情感参与度）的组合，通过分析来自学习管理系统的数字痕迹和学生网络摄像头拍摄的图像，识别学习困难的学生。利用法国一所工程学校 2022 至 2023 学年收集的真实数据，观察到积极情绪状态与学术成果的改善之间存在相关性。这些初步发现支持情绪在区分高、低成就学生方面起到关键作用的观点。

    Nov, 2023

  • 超复模态脑电和周边生理信号的情绪识别

    通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

    Oct, 2023

  • 基于可穿戴设备的生理信号监测：认知负荷跨任务评估研究

    通过使用前沿的可穿戴监测技术，该研究在 FP1 通道的脑电图数据和次要职业学生的心率变异性数据上进行高精度、高时间分辨率的认知负荷评估，综合分析这两个关键生理指标，研究其在评估次要职业学生认知负荷中的应用价值以及在不同任务中的效用。该研究设计了两个实验证明了所提出方法的有效性：首先，使用 N-Back 任务开发的随机森林分类模型能够对处于不同认知负荷水平下的次要职业学生的生理信号特征进行精确解码，实现了 97% 的分类准确率。随后，在国家计算机等级考试中应用该分类模型进行交叉任务实验，展示了该方法在不同学习环境中的显著适用性和跨任务的可转移性。该研究具有高可移植性，对于优化次要职业教育中的教学资源配置以及认知负荷评估方法和监测具有重要的理论和实践意义。目前，研究结果正在学校进行试行实施。

    Jun, 2024