通过多模态多阶因子融合进行抑郁症诊断和分析

Dec, 2022

通过多模态多阶因子融合进行抑郁症诊断和分析

Depression Diagnosis and Analysis via Multimodal Multi-order Factor Fusion

Chengbo Yuan, Qianhui Xu, Yong Luo

TL;DR本文提出了一种多模态多阶因素融合 (MMFF) 方法，能够很好地利用不同模态之间的高阶交互作用，从而进行抑郁症的自动诊断，并且能够解释模型的融合机制。在两个最近流行的数据集上进行了广泛的实验证明，相比其他现有方法，我们的方法具有更好的性能。

Abstract

depression is a leading cause of death worldwide, and the diagnosis of depression is nontrivial. multimodal learning is a popular solution

depression multimodal learning factor fusion automatic diagnosis interpretability

发现论文，激发创造

基于次注意力融合的多模态抑郁症评估

本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

Jul, 2022

基于模态因子分解的多模态融合

提出了一种新的理解和调节多模推理任务中每种模态相对贡献的技术 —— 基于模态减少冗余的融合（MRRF）方法，并应用它于情感分析、人格特征识别和情感识别等多个数据集上，取得了比现有技术相比 1% 至 4% 的改善效果。

Nov, 2018

基于主题建模的多模态抑郁症检测

通过主题建模的方法，我们提出了一种上下文感知分析录音的方法，用于预测变态抑郁症的水平，该方法在 AVEC 挑战赛中的所有指标上优于基线。

Mar, 2018

利用文本、音频和视频的多级注意力网络进行抑郁症预测

本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。

Sep, 2019

CANAMRF: 一种基于注意力机制的多模态抑郁检测模型

我们提出了一种适应性多模态循环融合的跨模态注意力网络（CANAMRF），通过实验验证了其在多模态抑郁检测领域的卓越性能。