Mar, 2024

MOGAM：用于抑郁症检测的多模态面向对象图注意力模型

HTML
PDF
TL;DR早期检测在抑郁症治疗中发挥关键作用。为了实现抑郁症的早期检测，众多研究聚焦于社交媒体平台，个人通过表达情绪来达到该目标。然而，现有方法通常依赖具体特征，导致对不同类型的社交媒体数据（如文本、图像或视频）的可扩展性有限。为了克服这一限制，我们提出了一种多模态面向对象图注意力模型（MOGAM），可应用于不同类型的数据，提供更具可扩展性和多功能性的解决方案。除此之外，为了确保我们的模型能捕捉到抑郁症的真实症状，我们只包括临床诊断的用户的视频日志。为了利用视频日志的多样特征，我们采用了多模态方法，并收集了视频日志的附加元数据，如标题、描述和时长。为了有效地聚合这些多模态特征，我们采用了交叉注意机制。MOGAM在准确率方面达到了0.871，在F1分数方面达到了0.888。此外，为了验证MOGAM的可扩展性，我们使用基准数据集评估了其性能，并取得了与先前研究相当的结果（0.61的F1分数）。总之，我们相信所提出的MOGAM模型是侦测社交媒体中抑郁症的有效解决方案，为早期检测和治疗此心理健康状况带来潜在的益处。