一种具有多模态中间融合网络和流形学习的应对压力检测方法

Mar, 2024

一种具有多模态中间融合网络和流形学习的应对压力检测方法

A Multimodal Intermediate Fusion Network with Manifold Learning for Stress Detection

Morteza Bodaghi, Majid Hosseini, Raju Gottumukkala

TL;DR通过多模态深度学习方法和流形学习的降维技术，本文提出了一种中间多模态融合网络，成功地在处理和分析数据时降低了计算复杂度，并在准确性方面优于其他网络。

Abstract

multimodal deep learning methods capture synergistic features from multiple modalities and have the potential to improve accuracy for stress detection compared to unimodal methods. However, this accuracy gain typically comes from high computational cost due to the high-dimensional feat

multimodal deep learning dimensionality reduction intermediate multimodal fusion network manifold learning-based dimensionality reduction multi-dimensional scaling

发现论文，激发创造

多模态应力检测基于面部特征点和生物信息信号

本研究提出了一种多模式学习方法，用于压力检测，该方法结合了面部标记和生物特征信号。我们测试了这种多模式集成的各种早期融合和后期融合技术，以整合来自生物特征信号的一维卷积神经网络模型和使用面部标记的二维卷积神经网络。研究结果表明，后期融合的准确率达到 94.39％，而早期融合的准确率达到 98.38％。该研究通过多模式方法提供了提高压力检测的有价值的见解。

Nov, 2023

通过投影网络对具有异构维度的数据进行深度多模态融合

本研究提出了一种新颖的基于深度学习的多模态数据融合框架，具有异构维度（例如 3D+2D）的兼容定位任务的能力，并在地理萎缩和视网膜血管分割任务上取得了优于现有单模态方法的结果。

Feb, 2024

多模态多损失融合网络

通过多模态特征的最优选择和融合，并结合神经网络以提高情感检测，我们比较了不同的融合方法，并研究了多损失训练对多模态融合网络中子网络性能的影响，发现了与子网络性能相关的有用发现。我们的最佳模型在三个数据集（CMU-MOSI、CMU-MOSEI 和 CH-SIMS）中达到了最先进的性能，并在大多数指标上优于其他方法。我们发现在多模态特征上进行训练可以提高单模态测试的性能，并且基于数据集注释模式设计融合方法可以增强模型性能。这些结果表明了在神经网络中优化特征选择和融合方法以增强情感检测的路线图。

Aug, 2023

多模态机器学习在压力检测中的应用

该研究提出了一种基于多模态人工智能的框架，以监测一个人的工作行为和压力水平，并发现导致精神紧张和疲劳的个性化独特行为模式，从而检测和分类压力，准确率为 96.09％，可以帮助社区大众，特别是在 COVID-19 当前时间工作久坐人群监测和识别压力水平。

Jun, 2023

FedFusion：多星多模态深度融合驱动的联邦学习

FedFusion 是一种基于流形的多模态融合框架，通过联合估计每个客户端的浅层特征的显著流形结构，并通过级联和加法方法将特征矩阵压缩为低秩子空间，作为后续分类器的特征输入，从而解决多卫星、多模态数据的联合融合问题。该框架在三个多模态数据集上的性能表现超过现有方法，达到 94.35% 的分类平均准确率，同时将通信成本压缩了 4 倍，并在基于 Jetson TX2 工业模块的轨道边缘计算架构上进行了广泛的真实卫星图像的数值评估，结果显示 FedFusion 将训练时间缩短了 48.4 分钟（15.18%），同时优化了准确性。

Nov, 2023

潜在表征空间中的多模态传感器融合

提出了一种基于多模态生成模型的传感器融合方法，该方法应用于多模态融合实验（如多感官分类，去噪和从子采样观测中恢复）。

Aug, 2022

多模态低秩融合与模态特定因子的高效实现

本文介绍了一种使用低秩张量完成多模态数据融合的新方法，并在多模态情感分析、演讲者特征和情感识别等多个任务中取得了有竞争力的结果且极大地减少了计算复杂度。

May, 2018

深度神经网络中的降维压缩和扩展

本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

Jun, 2019

联合自监督和有监督对比学习用于多模态 MRI 数据：走向预测异常神经发育

利用多模态成像、深度学习和对比学习方法，从多模态 MRI 数据中学习鲁棒的潜在特征表示，将异构特征投影到共享空间，整合不同模态和类似主体间的互补和类似信息，进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。

Dec, 2023

基于 SPD 流形的生理和行为信号融合及其在压力和疼痛检测中的应用

本文提出了一种新的几何框架，利用对称正定（SPD）矩阵作为表示，从协方差和交叉协方差中结合生理和行为信号的相关关系，用于多模态压力 / 疼痛探测中。采用切空间映射方法将推导出的 SPD 矩阵序列映射到切向空间中的向量序列，然后应用于 LSTM-based 网络进行分类，该框架已在两个公共多模式数据集上获得了最先进的压力和疼痛检测结果。

Jul, 2022