本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

Jul, 2022

利用提出的 Attention-Based Acoustic Feature Fusion Network (ABAFnet)，结合多种不同的声学特征，以及通过权重调整模块对特征进行合成，提高抑郁症的检测和亚型分类的性能。

Aug, 2023

本文提出了一种多模态多阶因素融合 (MMFF) 方法，能够很好地利用不同模态之间的高阶交互作用，从而进行抑郁症的自动诊断，并且能够解释模型的融合机制。在两个最近流行的数据集上进行了广泛的实验证明，相比其他现有方法，我们的方法具有更好的性能。

Dec, 2022

使用从语音识别工具中提取的语音道变量和文本转录中的发音协调特征开发了一种多模式抑郁症分类系统，并使用分段分类器和多级卷积递归神经网络获得了性能提升，同时还通过结合会话级音频模型和 HAN 文本模型开发了一种多模态系统。

Feb, 2022

通过跨模态注意力和时间卷积网络，提出了一种用于多模态情感识别的模型，能够有效地捕捉不同模态之间的互补关系，并在赛事中实现显著改进。

Mar, 2024

本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。

Sep, 2019

该研究提出了使用贝叶斯注意力模块（BAM）来增强来自不同模态的预先训练模型的协同注意力融合，以有效融入外部情感相关知识以学习情感相关知识，实验证明该方法能够超过最先进方法至少 0.7 个百分点的准确度。

Feb, 2023

本文介绍了解决模型预测不透明性的方法，提出了一种利用多模态特征和分层注意力网络的模型，可以检测社交媒体上的抑郁症患者并解释模型预测，该模型在检测具有挑战性的公共社交媒体数据集上取得了显著优势。

Jul, 2020

早期检测在抑郁症治疗中发挥关键作用。为了实现抑郁症的早期检测，众多研究聚焦于社交媒体平台，个人通过表达情绪来达到该目标。然而，现有方法通常依赖具体特征，导致对不同类型的社交媒体数据（如文本、图像或视频）的可扩展性有限。为了克服这一限制，我们提出了一种多模态面向对象图注意力模型（MOGAM），可应用于不同类型的数据，提供更具可扩展性和多功能性的解决方案。除此之外，为了确保我们的模型能捕捉到抑郁症的真实症状，我们只包括临床诊断的用户的视频日志。为了利用视频日志的多样特征，我们采用了多模态方法，并收集了视频日志的附加元数据，如标题、描述和时长。为了有效地聚合这些多模态特征，我们采用了交叉注意机制。MOGAM 在准确率方面达到了 0.871，在 F1 分数方面达到了 0.888。此外，为了验证 MOGAM 的可扩展性，我们使用基准数据集评估了其性能，并取得了与先前研究相当的结果（0.61 的 F1 分数）。总之，我们相信所提出的 MOGAM 模型是侦测社交媒体中抑郁症的有效解决方案，为早期检测和治疗此心理健康状况带来潜在的益处。

Mar, 2024

该研究提出了一种名为条件注意融合的新型多模态融合策略，将长短期记忆循环神经网络应用为基础单模态模型，自动决定分配给不同情感模态的权重，获得了在情感价值预测方面优于多种常见融合策略的实验结果。

Sep, 2017