Feb, 2022

使用话语协调特征和分层注意力文本嵌入的多模式抑郁症分类

PDF
TL;DR使用从语音识别工具中提取的语音道变量和文本转录中的发音协调特征开发了一种多模式抑郁症分类系统，并使用分段分类器和多级卷积递归神经网络获得了性能提升，同时还通过结合会话级音频模型和 HAN 文本模型开发了一种多模态系统。
depression classificationmultimodal systemconvolutional recurrent neural networkhierarchical attention networksession-level audio model
发现论文，激发创造
  • 利用文本、音频和视频的多级注意力网络进行抑郁症预测

    本文介绍了一个新型的多级注意力网络用于多模式抑郁症预测，包括来自音频、视频和文本模式的特征融合，其在选择每种模式内最具影响力的特征进行决策时通过多级注意力加固了整体学习，实验中表现优于现有基线 17.52% 的均方根误差。

    Sep, 2019

  • 基于次注意力融合的多模态抑郁症评估

    本研究使用子注意力机制和卷积双向 LSTM 作为基础，对多模式数据中的抑郁症进行自动识别，并在公共数据集上进行了广泛的实验，结果表明该模型在检测抑郁症方面表现出 0.89 的准确度和 0.70 的 F1 分数，在抑郁症严重性评估方面表现出 4.92 的平均绝对误差，并且相较于以往模型在融合多模态数据方面表现更优异，并且可通过端到端的学习方法减少预处理步骤。

    Jul, 2022

  • 基于双向 LSTM 和时间分布的 CNN 的语调和语义特征预测抑郁症严重程度

    提出了一种基于多模态语音和文本表达的关注机制用于预测抑郁症，使用 DAIC-WOZ 数据集训练所提出的模型，分别在音频、文本和多模态情况下进行了实验，并取得了较好的预测效果。

    Feb, 2022

  • 多模态特征工程和融合预测抑郁症严重程度

    本研究旨在探讨通过使用多模态融合模型，利用患者声音、视频、文本等特征预测临床评估中的抑郁症状，PHQ-8，该模型在训练 AVEC 2017 数据集时表现优于每个单一模态的预测模型，并超越数据集的基线水平。

    Nov, 2017

  • 利用混合式深度学习模型在社交媒体上使用多模态进行可解释的抑郁症检测

    本文介绍了解决模型预测不透明性的方法，提出了一种利用多模态特征和分层注意力网络的模型，可以检测社交媒体上的抑郁症患者并解释模型预测，该模型在检测具有挑战性的公共社交媒体数据集上取得了显著优势。

    Jul, 2020

  • 分层注意解释：一种可解释的双模态抑郁症检测语音级转换器

    提出了一种使用双模式语音级转换器的自动抑郁症检测工具，以避免分段级别标注的噪声并引入分层解释方法，从而在语音级别和句子级别提供模型解释，其性能优于学习在分段级别的模型，并提供了有关抑郁症检测的相关句子、文本标记和 Mel 频谱图区域的解释，以验证抑郁症检测工具的预测有效性，推动其临床实施。

    Sep, 2023

  • 利用语音和文本的多模态语音情感识别

    本文提出了一种深度双重循环编码器模型，利用语音和文本数据进行机器情感识别，该模型表现更优，实验结果显示，当将该模型应用于 IEMOCAP 数据集时，在将数据分配到四个情感类别（愤怒，高兴，悲伤和中性）方面，准确率在 68.8％至 71.8％之间。

    Oct, 2018

  • 利用分层注意策略和词级对齐的多模态情感分析

    本文研究了从多个数据来源中学习识别和解释人类情感和主观信息的多模态情感计算问题，提出了一种基于 attention 机制和单词级融合的分层多模态体系结构，以从文本和音频数据中分类识别发言级别的情感和情绪。结果表明，该模型在现有数据集上表现优异。

    May, 2018

  • 用于语音和文本数据的多模态情感识别的卷积注意力网络

    本文提出了一种使用卷积注意网络学习语音和文本数据之间隐藏表示的新方法，较之之前的表现更好，能更好地识别出 CMU-MOSEI 数据集中包含的来自语音和文本数据的情感。

    May, 2018

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021