Apr, 2024

CLARE: 实时多模态数据中的认知负荷评估

PDF
TL;DR我们提供了一个新颖的多模态 Cognitive Load Assessment 实时数据集 (CLARE)，其中包含来自 24 名参与者的生理和注视数据，并以自我报告的认知负荷评分作为基准标签。数据集包括四种模态，分别是心电图 (ECG)、皮肤电活动 (EDA)、脑电图 (EEG) 和注视跟踪。我们还对两种不同的评估方案，即 10 折交叉验证和留一法交叉验证 (LOSO)，使用机器学习和深度学习模型提供了基准二分类结果。基准结果表明，在 10 折交叉验证中，基于卷积神经网络 (CNN) 的深度学习模型在 ECG、EDA 和注视跟踪上实现了最佳的分类性能；而在 LOSO 中，基于 ECG、EDA 和脑电图 (EEG) 的深度学习模型表现最佳。
cognitive load assessmentmultimodal datasetphysiological datagaze dataclassification performance
发现论文，激发创造
  • 车内驾驶员认知负荷多模态脑 - 计算机接口：数据集与基线

    本文介绍了一个包含 EEG 信号和其他生理数据的新型驾驶认知负荷评估数据集 CL-Drive，并提供了针对不同的机器学习和深度学习模型的基准分类结果。

    Apr, 2023

  • 利用多模式传感器测量认知负荷

    本研究使用多模式感知方法和机器学习来识别一组指标，以估计认知负荷水平。通过进行一组认知测试，利用四种传感器来测量参与者的生理变化以及 Chi-Square 卡方分析法揭示了它们的感知认知负荷水平的差异，研究利用三种分类算法分别使用这些生理数据进行训练和测试，并证明使用 ECG 和 EDA 的结合可以获得良好的辨别能力。

    May, 2022

  • 采用脑电图和深度学习将认知负荷建模为自监督的脑波率

    本研究提出了一种新的自我监督的深度学习方法，通过使用连续脑率指数和空间谱拓扑头图从 EEG 数据中进行神经负荷建模，该方法表现出在通常适用性方面的能力，这证明了卷积层学习有意义的高级表示的能力。

    Sep, 2022

  • 基于脑电图的认知负荷分类：特征屏蔽自编码和情感迁移学习

    本文介绍了一种使用脑电图的认知负荷分类的新方法，采用变压器架构与迁移学习，利用自监督预训练和冻结权重与微调的迁移学习来进行认知负荷分类，实验证明该方法表现优秀且胜过传统的单阶段全监督学习，研究为情感计算中的认知负荷领域增加了新的文献，为未来的跨领域迁移学习与自监督预训练的研究提供了新的方向。

    Aug, 2023

  • 基于可穿戴设备的生理信号监测：认知负荷跨任务评估研究

    通过使用前沿的可穿戴监测技术，该研究在 FP1 通道的脑电图数据和次要职业学生的心率变异性数据上进行高精度、高时间分辨率的认知负荷评估，综合分析这两个关键生理指标，研究其在评估次要职业学生认知负荷中的应用价值以及在不同任务中的效用。该研究设计了两个实验证明了所提出方法的有效性：首先，使用 N-Back 任务开发的随机森林分类模型能够对处于不同认知负荷水平下的次要职业学生的生理信号特征进行精确解码，实现了 97% 的分类准确率。随后，在国家计算机等级考试中应用该分类模型进行交叉任务实验，展示了该方法在不同学习环境中的显著适用性和跨任务的可转移性。该研究具有高可移植性，对于优化次要职业教育中的教学资源配置以及认知负荷评估方法和监测具有重要的理论和实践意义。目前，研究结果正在学校进行试行实施。

    Jun, 2024

  • 使用深度多任务学习进行认知负荷和专业度的自适应模拟分类

    为了解决目前模拟培训通常只有一种类型，无法根据学习者的不同技能和认知负荷量级别进行调整的问题，我们提出了一个针对创伤模拟的端到端框架，利用多任务深度神经网络对认知负荷和专业水平进行分类，并获得了很高的精确度。

    Jul, 2019

  • 使用多模态深度学习识别外科任务期间的认知负荷

    本文提出了一种联合三个信号测量 Cognitive Workload 的方法，该方法基于机器学习和神经网络技术，可以识别手术过程中医生的脑力负荷情况，并精确地将其分类，比较结果表明有 93％的准确度。

    Sep, 2022

  • 基于脑电图的认知负荷检测实验范式和深度神经网络的系统评述

    通过系统综述了解了基于脑电图 (EEG) 的认知负荷估计。重点包括：确定可靠引发离散和量化认知负荷水平的实验范式，并探究在信号分类中常用的深度神经网络 (DNNs) 的输入形式的特点和表征结构。分析发现一些研究在离线认知负荷分类中使用脑电信号的二维矩阵原始表示，但只有少数研究采用了在线或伪在线的实时认知负荷估计策略。此外，在这项综述中，仅采用了数个可解释的 DNNs 和一个生成模型进行认知负荷检测。总的来说，由于其网络架构的深度提供了巨大的建模能力，DNNs 成为分类脑电信号的宝贵工具。进一步建议采用可解释且可解读的 DNN 模型进行认知负荷估计，因为现有方法在面对非平稳信号时存在局限性。

    Sep, 2023

  • MATT: e-learning 平台多模态关注度估计

    本文提出了一个基于多模态脸部分析的新型远程注意力水平估计系统，它使用多达四个基于卷积神经网络的模块来分析面部表情、眨眼、头部姿势和距离等信号，并评估了这些模块分别进行注意力水平估计和多模态融合的效果。

    Jan, 2023

  • 利用 i 向量进行主体独立的跨会话 EEG 迁移学习

    认知负荷分类是根据生理学测量（如脑电图）自动确定个体在执行任务过程中使用工作记忆资源的任务，本文采用跨学科方法，利用语音处理工具和方法来解决这个问题，并提出了基于 i - 向量的神经网络分类器的方法，在跨个体、跨会话的脑电图转移学习中取得了 18% 的相对改进，并通过实验证明了我们的个体无关模型在保留的受试者上表现出竞争力，并且在额外受试者数据上获得了改进，这表明对于有效的认知负荷确定并不需要个体相关的训练。

    Jan, 2024