Sep, 2023

分层注意解释：一种可解释的双模态抑郁症检测语音级转换器

PDF
TL;DR提出了一种使用双模式语音级转换器的自动抑郁症检测工具，以避免分段级别标注的噪声并引入分层解释方法，从而在语音级别和句子级别提供模型解释，其性能优于学习在分段级别的模型，并提供了有关抑郁症检测的相关句子、文本标记和 Mel 频谱图区域的解释，以验证抑郁症检测工具的预测有效性，推动其临床实施。
depressionautomatic depression detectionmachine learningbi-modal speech-level transformermodel interpretability
发现论文，激发创造
  • 基于双向 LSTM 和时间分布的 CNN 的语调和语义特征预测抑郁症严重程度

    提出了一种基于多模态语音和文本表达的关注机制用于预测抑郁症，使用 DAIC-WOZ 数据集训练所提出的模型，分别在音频、文本和多模态情况下进行了实验，并取得了较好的预测效果。

    Feb, 2022

  • 基于次注意力融合的多模态抑郁症评估

    本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

    Jul, 2022

  • 利用混合式深度学习模型在社交媒体上使用多模态进行可解释的抑郁症检测

    本文介绍了解决模型预测不透明性的方法，提出了一种利用多模态特征和分层注意力网络的模型，可以检测社交媒体上的抑郁症患者并解释模型预测，该模型在检测具有挑战性的公共社交媒体数据集上取得了显著优势。

    Jul, 2020

  • 利用文本、音频和视频的多级注意力网络进行抑郁症预测

    本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。

    Sep, 2019

  • 使用话语协调特征和分层注意力文本嵌入的多模式抑郁症分类

    使用从语音识别工具中提取的语音道变量和文本转录中的发音协调特征开发了一种多模式抑郁症分类系统，并使用分段分类器和多级卷积递归神经网络获得了性能提升，同时还通过结合会话级音频模型和 HAN 文本模型开发了一种多模态系统。

    Feb, 2022

  • 可解释性与可解释性在社交媒体抑郁检测中的应用

    使用基于 Transformer 的架构来检测和解释用户写作中抑郁症状标记的出现，并生成可解释的基于症状的解释。

    Oct, 2023

  • 基于隐喻概念映射的分层注意力网络用于可解释的推特抑郁症检测

    在 Twitter 上进行自动检测抑郁症能够帮助个人在寻求心理健康专业人员帮助之前，以私密和方便的方式了解自己的心理健康状况。本文提出了一种基于描述性模型的新型抑郁症检测模型，该模型结合了分层注意机制和前馈神经网络，在支持心理语言学研究的同时，其还识别了用户推文的特征和相关的隐喻概念映射。

    Sep, 2022

  • 一个用于双模态情感分类的简单基于注意力机制

    在本文中，我们提出了基于双模态深度学习结构和注意力机制的情感分类方法，使用文本和语音数据进行训练和测试，并报告了不同结构的详细细节和性能分析结果。研究结果表明，使用不同类型数据（文本和语音）训练的深度学习结构优于仅使用文本或语音训练的结构，并且我们提出的基于注意力机制的双模态结构在情感分类中优于现有的系统。

    Jun, 2024

  • 基于变压器模型的社交媒体压力和抑郁识别校准

    使用 BERT 和 MentalBERT 模型，将额外的语言信息注入到社交媒体上进行的压力和抑郁症检测中，通过 Multimodal Adaptation Gate 此方法在三个公开数据集上的表现有所提高。标签平滑化可以提高模型性能和调整模型。在压力和抑郁症文章中观察到了语言差异。

    May, 2023

  • 使用多跳注意力机制的语音情感识别

    该论文提出了一种利用音频和文本信息的语音情感分类方法，使用双向 LSTM 和多跳注意力机制，在 IEMOCAP 数据集上，相对于现有技术，其在加权准确率上提高了 6.5% 的性能。

    Apr, 2019