Mar, 2024

推进疼痛识别中的多模态数据融合：利用统计相关性和以人为中心的观点的策略

PDF
TL;DR通过结合统计相关性和以人为中心的方法，本研究解决了融合异构数据进行特定行为识别在疼痛识别领域的挑战，利用多样化的深度学习架构突出了方法的适应性和有效性，在各种复杂环境中提高模型性能。通过战略性的加入统计相关性权重和以人为中心的多模态数据分割，改进了模型精度，并提供了可解释的多模态数据分析，从而超越了传统的模态融合技术，突出了数据多样性和定制模态分割在疼痛行为分析中的作用。引入了根据统计显著性匹配每种模态的适当分类器的框架，标志着朝着定制化和准确性更强的多模态融合策略迈进。本研究不仅在疼痛识别领域作出了贡献，还为模态融合和以人为中心的计算应用提供了新的见解，为可解释的人工智能和强化以患者为中心的医疗干预作出了贡献。因此，我们填补了有效和可解释的多模态数据融合中的一个重要空白，为疼痛行为识别和相关领域的未来研究建立了新的标准。
heterogeneous datapain recognitiondeep learning architecturesmodel performancemultimodal data
发现论文，激发创造
  • 基于 SPD 流形的生理和行为信号融合及其在压力和疼痛检测中的应用

    本文提出了一种新的几何框架，利用对称正定（SPD）矩阵作为表示，从协方差和交叉协方差中结合生理和行为信号的相关关系，用于多模态压力 / 疼痛探测中。采用切空间映射方法将推导出的 SPD 矩阵序列映射到切向空间中的向量序列，然后应用于 LSTM-based 网络进行分类，该框架已在两个公共多模式数据集上获得了最先进的压力和疼痛检测结果。

    Jul, 2022

  • 利用分层注意策略和词级对齐的多模态情感分析

    本文研究了从多个数据来源中学习识别和解释人类情感和主观信息的多模态情感计算问题，提出了一种基于 attention 机制和单词级融合的分层多模态体系结构，以从文本和音频数据中分类识别发言级别的情感和情绪。结果表明，该模型在现有数据集上表现优异。

    May, 2018

  • 基于生理信号的个性化疼痛识别多任务神经网络

    研究基于神经网络的多任务学习方法，利用生理信号进行疼痛强度测量，以应对无法口头交流疼痛感受的患者，测试结果显示其在多模态生理反应的测试数据中表现良好。

    Aug, 2017

  • 多模态机器学习在压力检测中的应用

    该研究提出了一种基于多模态人工智能的框架，以监测一个人的工作行为和压力水平，并发现导致精神紧张和疲劳的个性化独特行为模式，从而检测和分类压力，准确率为 96.09％，可以帮助社区大众，特别是在 COVID-19 当前时间工作久坐人群监测和识别压力水平。

    Jun, 2023

  • 可穿戴活动识别的单模态和多模态传感器融合

    综合不同的感知模态与多个位置有助于形成对人类行为等复杂情况的统一感知和理解，因此，人类活动识别受益于综合冗余和互补信息（单模态 / 多模态）。然而，这并不是一项容易的任务，它需要多学科的方法，包括传感器技术、信号处理、数据融合算法和领域特定知识。本博士研究使用惯性、压力（音频和大气压力）和纺织电容感应等感知模型进行人类活动识别。所探索的场景包括手势和手部位置跟踪、面部和头部模式识别以及身体姿势和手势识别。所选择的可穿戴设备和感知模型完全集成了基于机器学习的算法，其中一些实现在嵌入式设备上，并在实时环境中进行了测试。

    Apr, 2024

  • 多模态本地 - 全局排名融合情感识别

    研究了通过综合考虑人员独立和相对依赖角度进行情感识别的方法，该方法使用 Bayesian 排序算法推断全局相对情感排名，最终的情感识别是通过对直接预测和来自本地全局排序的相对情感排名的综合考虑而实现的。

    Aug, 2018

  • 多模态驾驶员行为理解的决策级融合比较分析

    本文通过对视频驾驶员观察中的决策级别融合策略进行比较和评估，从视觉识别和多模态识别角度提出决策级别融合的方案，旨在指导融合策略的选择。

    Apr, 2022

  • 基于人工智能的电子健康记录和影像数据融合方法

    这篇综述研究了使用人工智能技术将多模式医疗数据进行融合，以开发不同临床应用的 AI 方法。通过对 34 个相关研究进行数据提取和分析，发现多模式融合模型在诊断和预测疾病等临床应用方面显著优于单一模式模型。

    Oct, 2022

  • 深度多模态融合图像和非图像数据在疾病诊断与预后中的应用：综述

    这篇论文综述如何运用多模态深度学习技术提取和汇总多模态信息，以实现更客观、定量化的计算机辅助临床决策，并探讨了其在疾病诊断和预后中的应用、性能表现、挑战和未来发展方向。

    Mar, 2022

  • 基于深度学习的多模态医学图像分类信息融合技术综述

    多模医学成像在临床诊断和研究中起着关键作用，深度学习多模态融合技术在提高医学图像分类方面显示出强大的工具。本综述对基于深度学习的医学分类任务中的多模态融合的发展进行了彻底分析，包括不同融合方案和网络架构的性能评估，讨论了相关挑战和未来研究方向。

    Apr, 2024