Sep, 2019

利用文本、音频和视频的多级注意力网络进行抑郁症预测

PDF
TL;DR本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。
depressionmddbehavioural cuesmulti-modal predictionattention based network
发现论文，激发创造
  • 基于次注意力融合的多模态抑郁症评估

    本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

    Jul, 2022

  • 基于主题建模的多模态抑郁症检测

    通过主题建模的方法，我们提出了一种上下文感知分析录音的方法，用于预测变态抑郁症的水平，该方法在 AVEC 挑战赛中的所有指标上优于基线。

    Mar, 2018

  • 音频、视觉和文本分析中的抑郁量表识别

    本文介绍了一种多模态特征提取和决策层融合方法用于通过机器学习算法自动检测抑郁症，并使用支持向量机和神经网络对特征进行分类，在音频特征和视频特征上比验证数据集提供的基线分别提高了 17％和 24.5％。

    Sep, 2017

  • 基于双向 LSTM 和时间分布的 CNN 的语调和语义特征预测抑郁症严重程度

    提出了一种基于多模态语音和文本表达的关注机制用于预测抑郁症，使用 DAIC-WOZ 数据集训练所提出的模型，分别在音频、文本和多模态情况下进行了实验，并取得了较好的预测效果。

    Feb, 2022

  • 跨帧阅读：基于非语言线索的视频多模态抑郁检测

    通过多模态时间模型从用户生成的视频内容中提取非语言抑郁线索，实现了在三个关键基准数据集上的抑郁检测现有技术的巨大改进。

    Jan, 2024

  • 利用混合式深度学习模型在社交媒体上使用多模态进行可解释的抑郁症检测

    本文介绍了解决模型预测不透明性的方法，提出了一种利用多模态特征和分层注意力网络的模型，可以检测社交媒体上的抑郁症患者并解释模型预测，该模型在检测具有挑战性的公共社交媒体数据集上取得了显著优势。

    Jul, 2020

  • 使用话语协调特征和分层注意力文本嵌入的多模式抑郁症分类

    使用从语音识别工具中提取的语音道变量和文本转录中的发音协调特征开发了一种多模式抑郁症分类系统，并使用分段分类器和多级卷积递归神经网络获得了性能提升，同时还通过结合会话级音频模型和 HAN 文本模型开发了一种多模态系统。

    Feb, 2022

  • 利用贝叶斯网络结合多模态数据和专家意见，稳健预测抑郁及其症状

    该研究使用贝叶斯网络的方法来预测抑郁症及其症状，包括从言语、面部表情和认知游戏数据中提取的特征，并生成可解释的模型预测，确定预测的不确定性，并自然地处理缺失数据。

    Nov, 2022

  • 基于视听线索的抑郁症识别深度学习：综述

    介绍了深度学习技术在自动抑郁症检测中的应用方法，包括音频和视频中的抑郁指标，最后讨论了深度学习技术在自动抑郁诊断方面的挑战和前景

    May, 2021

  • 我们关心：多模态抑郁症检测与知识注入型心理健康治疗响应生成

    使用非语言线索检测抑郁症，引入虚拟助手与认知行为疗法基于的回应，取得了显著成果。

    Jun, 2024