我们提出一种基于自监督对比学习的多模式情感识别方法 ME-MHACL，通过从无标签的生物电信号中学习有意义的特征表示，并使用多头注意机制进行特征融合以提高识别性能。在 DEAP 和 MAHNOB-HCI 两个公开数据集上的实验结果表明，我们的方法在情感识别任务中表现优于现有基准方法，并具有良好的跨个体泛化能力。

Jul, 2023

通过在超复数域中进行操作，该论文提出了一个带有新型融合模块的超复数多模态网络，实现了从生理信号中的分类情感识别，超越了多模态最先进的网络。

Oct, 2023

基于脑电图 (EEG) 的情绪识别引起了重要关注，在神经信号处理和情感计算等领域有了多样化的发展。然而，个体的独特脑解剖结构导致不可忽视的自然差异，在主题间情绪识别中存在挑战。为了克服这些限制，我们开发了一个基于预训练模型的多模式情绪识别器，利用脑信号建模和空间 - 时间注意机制来学习通用的脑电图表示，并在不同维度和模态中最大化功能的优势。广泛的公共数据集上的实验证明了情绪识别器在跨主题情绪识别任务中的卓越性能，优于现有方法。此外，该模型从注意力的角度进行了剖析，为神经信号处理领域的情感研究提供了有价值的洞察。

May, 2024

通过实施一个正弦表示网络 (SIREN) 学习来自多通道脑电图 (EEG) 中的频率信息，并将其用作后续的编码器 - 解码器，以有效地重构特定脑区的功能磁共振成像 (fMRI) 信号，我们提出了一种能够直接从多通道 EEG 中预测 fMRI 信号的新型架构。我们在一个包含 8 个受试者的同时进行 EEG-fMRI 数据集上评估了我们的模型，并研究了其预测皮质下 fMRI 信号的潜力。结果表明，我们的模型优于最近的一种先进模型，并显示出利用深度神经网络中的周期激活函数来建模功能性神经影像数据的潜力。

Nov, 2023

提出了一种结合多模态数据的新型多模态学习框架，旨在提高潜在情绪识别准确度，包括一维可分离和可混合的深度入手网络、标准化的正态分布加权特征融合方法以及深度 / 生理引导的注意力模块。实验结果表明，该方法优于基准方法，其中加权融合方法和引导注意力模块都对性能提升起到了贡献。

Aug, 2023

本文提出了一种新的编码框架，它依赖于自监督学习来学习各种生理领域的多元时间序列的表示，从而解决有限可用性的标记生理数据通常防止在生物医学机器智能领域使用强大的监督深度学习模型的问题，并得出新方法可以学会区分特征被用于下游分类任务。

Jun, 2023

本文介绍了一种融合了多种多样信息的多模态框架，通过将来自视觉面部特征和视频输入中提取的 rPPG 信号的信息融合从而实现情感理解。基于排列特征重要性分析的解释性技术用于计算 rPPG 和视觉模态对将给定视频分类到特定情感类别的贡献。IEMOCAP 数据集上的实验表明，从多个模态组合的互补信息可以提高情感分类性能。

Jun, 2023

本研究介绍了一种基于脑电信号的 MUltimodal Similarity-keeping contrastivE learning（MUSE）框架，用于解码图像，实现零样本图像分类。通过对脑电数据集进行正则化对比性脑电图像预训练，我们的方法在 200 种零样本图像分类中取得了最先进的性能，其中 Top-1 准确率为 19.3％，Top-5 准确率为 48.8％。此外，通过模型解释，我们对神经模式进行了可视化，从而阐明了人脑中的视觉处理动态。本工作的代码存储库位于：https://url 链接。

Jun, 2024

利用多模态成像、深度学习和对比学习方法，从多模态 MRI 数据中学习鲁棒的潜在特征表示，将异构特征投影到共享空间，整合不同模态和类似主体间的互补和类似信息，进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。

Dec, 2023

采用多模态分析方法的 EEG-fMRI 研究 最近在非侵入性神经影像学技术（如 EEG 和 fMRI）中得到了广泛应用，我们在此通过非线性融合方法、基于图像解析和深度学习等多个角度诠释该方法对人脑功能变化的研究所带来的新视角。

Jan, 2022