AAAINov, 2017

多模态特征工程和融合预测抑郁症严重程度

PDF
TL;DR本研究旨在探讨通过使用多模态融合模型，利用患者声音、视频、文本等特征预测临床评估中的抑郁症状，PHQ-8，该模型在训练 AVEC 2017 数据集时表现优于每个单一模态的预测模型，并超越数据集的基线水平。
depression severitymulti modal fusion modelaudiovideotext
发现论文，激发创造
  • 多模态情况下的抑郁症严重程度估计

    本文利用面部特征提取技术，通过多种视听方式设计自动检测方法，获取心理学标准 PHQ-8 测试结果，性能表现最佳的为面部特征提取，平均绝对误差为 4.66，语言特征稍高，为 5.17，而从音频记录中提取的 Turn Features 在测试集中表现最佳，平均绝对误差为 4.11，该体系结构在 AVEC 2017 抑郁症子挑战赛中成为优胜者。

    Nov, 2017

  • 音频、视觉和文本分析中的抑郁量表识别

    本文介绍了一种多模态特征提取和决策层融合方法用于通过机器学习算法自动检测抑郁症，并使用支持向量机和神经网络对特征进行分类，在音频特征和视频特征上比验证数据集提供的基线分别提高了 17％和 24.5％。

    Sep, 2017

  • 基于双向 LSTM 和时间分布的 CNN 的语调和语义特征预测抑郁症严重程度

    提出了一种基于多模态语音和文本表达的关注机制用于预测抑郁症，使用 DAIC-WOZ 数据集训练所提出的模型，分别在音频、文本和多模态情况下进行了实验，并取得了较好的预测效果。

    Feb, 2022

  • 基于次注意力融合的多模态抑郁症评估

    本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

    Jul, 2022

  • 从口语和 3D 面部表情测量抑郁症状严重程度

    本文介绍了一种基于机器学习的方法，在自动检测抑郁症状方面，使用 3D 面部表情和口语，取得了很好的效果，对于检测重度抑郁症，模型表现出 83.3％敏感性和 82.6％特异性。该技术结合语音识别、计算机视觉和自然语言处理，可用于帮助心理健康患者和从业人员在全球范围内普及低成本的心理健康护理。

    Nov, 2018

  • 使用话语协调特征和分层注意力文本嵌入的多模式抑郁症分类

    使用从语音识别工具中提取的语音道变量和文本转录中的发音协调特征开发了一种多模式抑郁症分类系统，并使用分段分类器和多级卷积递归神经网络获得了性能提升，同时还通过结合会话级音频模型和 HAN 文本模型开发了一种多模态系统。

    Feb, 2022

  • 基于注意力机制的音频特征融合网络用于抑郁症检测

    利用提出的 Attention-Based Acoustic Feature Fusion Network (ABAFnet)，结合多种不同的声学特征，以及通过权重调整模块对特征进行合成，提高抑郁症的检测和亚型分类的性能。

    Aug, 2023

  • 融合基于文本和基于图形的特征用于从语音中检测心理健康疾病

    通过语音信号图形转换和自然语言处理相结合，可以提高语音信号图形低级特征和文本低级特征分类和学习的融合，从而增强抑郁症等心理障碍的检测，特别是在疫情后期，随着语音启用设备，如智能手机的普及。

    May, 2022

  • 基于主题建模的多模态抑郁症检测

    通过主题建模的方法，我们提出了一种上下文感知分析录音的方法，用于预测变态抑郁症的水平，该方法在 AVEC 挑战赛中的所有指标上优于基线。

    Mar, 2018

  • 利用文本、音频和视频的多级注意力网络进行抑郁症预测

    本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。

    Sep, 2019