我们提出了一种基于多维嵌入感知的模态融合变压器（MFFormer）来使用静息状态功能磁共振成像（rs-fMRI）和 T1 加权结构磁共振成像（T1w sMRI）对精神分裂症和双相障碍进行分类，实验结果表明我们的 MFFormer 在精神分裂症和双相障碍诊断上表现优于单一或多模态 MRI。

Oct, 2023

通过使用混合 GAN-CNN 模型从 3D 结构 MRI 图像中诊断双相情感障碍 (BD)，并使用数据增强来提高卷积神经网络 (CNN) 分类器的准确性，从而为实践者在更短的时间内更可靠地识别 BD 患者提供更可靠的决策支持系统。

Oct, 2023

我们提出了一种名为 CAMF 的新型 Cross-Attentive Multi-modal Fusion 框架，能够捕捉 fMRI 和 sMRI 之间的内部和互间关系，优化多模态数据表示。通过在两个广泛的多模态脑成像数据集上的评估，CAMF 明显提高了分类准确性，并且可以解释与精神分裂症相关的重要功能网络和脑区域的生物标记物，为精神分裂症的诊断和病理内表型提供新的见解。

Mar, 2024

采用深度学习模型结合多模态数据进行阿尔茨海默病的早期诊断，通过图神经网络框架将结构和功能融合，提高诊断效果。

Jul, 2023

本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

Jul, 2022

通过使用多种特征和多种分类器的机器学习方法（MFMC），对使用 REST-meta-MDD 数据集的 2428 名受测者进行测试，MFMC 的 MDD 区分准确率达到 96.9％，明显改善了现有方法；并且，验证了 MFMC 的泛化能力，当训练和测试受测者来自独立的场地时，其表现仍然良好。这些结果将有助于将 13 个特征值作为临床有用的精神障碍诊断和预后生物标志物。

Aug, 2023

本文提出了一种多模态多阶因素融合 (MMFF) 方法，能够很好地利用不同模态之间的高阶交互作用，从而进行抑郁症的自动诊断，并且能够解释模型的融合机制。在两个最近流行的数据集上进行了广泛的实验证明，相比其他现有方法，我们的方法具有更好的性能。

Dec, 2022

通过多模态生理信号的 Siamese 架构，通过多尺度对比，学习抑郁症识别的多模态生理信号的表示学习框架，能够提高对刺激任务相关的语义表示的学习，且在公开数据集和自收集的多模态生理信号数据集上优于现有模型，具备对多模态时序下游任务的迁移能力。

Jun, 2024

提出了 MX-ARM，一种多模态混合专家对齐与重建模型，通过学习可调权重的不同多层感知器（“专家混合”），动态地从不同模态学习相应的特征表示。实验证明该模型在诊断轻度认知障碍的多模态 sf-PET/MR 数据上具有临床可行的精准医学效果。

Mar, 2024

创新的无监督特征互学习融合网络用于融合三维磁共振成像（MRI）和正电子发射断层成像（PET）图像，提高医生和研究人员的信息获取能力，并在性能度量方面优于传统二维图像融合方法。

Oct, 2023