ECCVJul, 2022

基于次注意力融合的多模态抑郁症评估

PDF
TL;DR本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。
depressionmulti-modal datasub-attention mechanismconvolutional bidirectional lstmgender-specific biases
发现论文，激发创造
  • 利用文本、音频和视频的多级注意力网络进行抑郁症预测

    本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。

    Sep, 2019

  • 基于双向 LSTM 和时间分布的 CNN 的语调和语义特征预测抑郁症严重程度

    提出了一种基于多模态语音和文本表达的关注机制用于预测抑郁症，使用 DAIC-WOZ 数据集训练所提出的模型，分别在音频、文本和多模态情况下进行了实验，并取得了较好的预测效果。

    Feb, 2022

  • 基于主题建模的多模态抑郁症检测

    通过主题建模的方法，我们提出了一种上下文感知分析录音的方法，用于预测变态抑郁症的水平，该方法在 AVEC 挑战赛中的所有指标上优于基线。

    Mar, 2018

  • 通过多模态多阶因子融合进行抑郁症诊断和分析

    本文提出了一种多模态多阶因素融合 (MMFF) 方法，能够很好地利用不同模态之间的高阶交互作用，从而进行抑郁症的自动诊断，并且能够解释模型的融合机制。在两个最近流行的数据集上进行了广泛的实验证明，相比其他现有方法，我们的方法具有更好的性能。

    Dec, 2022

  • 基于注意力机制的音频特征融合网络用于抑郁症检测

    利用提出的 Attention-Based Acoustic Feature Fusion Network (ABAFnet)，结合多种不同的声学特征，以及通过权重调整模块对特征进行合成，提高抑郁症的检测和亚型分类的性能。

    Aug, 2023

  • 跨帧阅读：基于非语言线索的视频多模态抑郁检测

    通过多模态时间模型从用户生成的视频内容中提取非语言抑郁线索，实现了在三个关键基准数据集上的抑郁检测现有技术的巨大改进。

    Jan, 2024

  • 多模态特征工程和融合预测抑郁症严重程度

    本研究旨在探讨通过使用多模态融合模型，利用患者声音、视频、文本等特征预测临床评估中的抑郁症状，PHQ-8，该模型在训练 AVEC 2017 数据集时表现优于每个单一模态的预测模型，并超越数据集的基线水平。

    Nov, 2017

  • 利用混合式深度学习模型在社交媒体上使用多模态进行可解释的抑郁症检测

    本文介绍了解决模型预测不透明性的方法，提出了一种利用多模态特征和分层注意力网络的模型，可以检测社交媒体上的抑郁症患者并解释模型预测，该模型在检测具有挑战性的公共社交媒体数据集上取得了显著优势。

    Jul, 2020

  • 使用话语协调特征和分层注意力文本嵌入的多模式抑郁症分类

    使用从语音识别工具中提取的语音道变量和文本转录中的发音协调特征开发了一种多模式抑郁症分类系统，并使用分段分类器和多级卷积递归神经网络获得了性能提升，同时还通过结合会话级音频模型和 HAN 文本模型开发了一种多模态系统。

    Feb, 2022

  • 多模态情况下的抑郁症严重程度估计

    本文利用面部特征提取技术，通过多种视听方式设计自动检测方法，获取心理学标准 PHQ-8 测试结果，性能表现最佳的为面部特征提取，平均绝对误差为 4.66，语言特征稍高，为 5.17，而从音频记录中提取的 Turn Features 在测试集中表现最佳，平均绝对误差为 4.11，该体系结构在 AVEC 2017 抑郁症子挑战赛中成为优胜者。

    Nov, 2017