Nov, 2022

一种基于张量融合层的自发语音痴呆检测的多模态方法

PDF
TL;DR用深度神经网络进行多模态分析调查老年痴呆症，通过在音频、文本和图像等不同模态上进行传递学习，实现了优于现有研究的准确性和 F1 得分
alzheimer's diseasedetectiondeep neural networksmultimodal approachesend-to-end trainable
发现论文，激发创造
  • 基于上下文感知注意力层与最优传输域自适应方法的自发言语痴呆识别

    本研究提出了一种新的方法，通过多模态交互捕获 AD 困扰患者的主要特征，使用 BERT 和 DeiT 等模型搭建语言和声音领域的自注意力模型，采用优化的传输域自适应方法，在标签平滑 calibration 方法的指导下，表现出相对较高的准确性和 F1 分数。

    May, 2023

  • 从语音和文本多模态检测阿尔茨海默病

    使用多模式深度学习方法通过语音和相应的文本同时检测多种言语段落的诊断，其模型在 Dementiabank Pitt 语料库上获得了 85.3% 的准确率。

    Nov, 2020

  • 利用患者讲话转录和音频数据探索阿尔茨海默病检测的多模态方法

    这项研究通过使用患者的语音和剧本数据，通过预训练语言模型和图神经网络来构建语音剧本的图，并提取特征进行阿尔茨海默病检测，同时引入音频数据和对小数据集进行增强处理，进而将音频特征与文本特征融合，最后尝试将语音剧本转化为音频进行对比学习，研究结果揭示了在使用语音和音频数据进行阿尔茨海默病检测中的挑战和潜在解决方案。

    Jul, 2023

  • 多模态归纳迁移学习用于阿尔茨海默病及其严重程度检测

    提出了一种集成声学、认知和语言特征的多模式系统，使用带时间特征的专业人工神经网络以检测阿尔茨海默病和其严重程度，并在 ADReSS 挑战数据集上获得了 83.3％的精度并在 DementiaBank Pitt 数据库上获得了 88.0％的分类精度，验证了无意识语音的通用性和可移植性。

    Aug, 2020

  • 自然语言处理技术在自发言语中预测阿尔茨海默病方面的比较

    该研究使用 Spontaneous Speech 数据集文本转录，使用多种模型对 AD 和正常人的分类和预测进行训练和评估。结果表明，使用 TF-IDF 向量化器作为输入的 SVM 模型和使用 ' DistilBERT ' 的预训练模型作为简单线性模型的嵌入层的模型表现最佳，在分类指标上展示了测试集得分为 0.81-0.82 和 RMSE 为 4.58 的结果。

    Jun, 2020

  • INESC-ID 多模态系统 - ADReSS 2020 挑战赛

    本文利用多模态方法，结合语音和文本特征，提出了自动检测阿尔茨海默病的分类框架，并发现语言特征对于阿尔茨海默病的分类比声学特征更为重要，能够提高分类准确率。

    May, 2020

  • 使用听觉、词汇、语调和停顿特征对阿尔茨海默病痴呆进行识别并抗干扰

    本文介绍了两种基于多模态融合的深度学习模型，同时使用 ASR 转录的语音和声纹数据，对结构化诊断任务中的说话人是否存在阿尔茨海默病进行分类，并评估了 ADReSSo 挑战 2021 数据，其中最佳模型 BiLSTM 采用了包括单词、单词概率、口吃特征、停顿信息和各种声学特征的 highway 层，实现了 84％ 的准确率和 4.26 的 MMSE 认知分数预测 RSME 误差。通过使用多模态方法和单词概率、口吃和停顿信息，我们的模型在预测认知衰退时表现出了提高，并且对于使用多模态融合和门控技术进行的 AD 分类，我们展示了相当大的收益。

    Jun, 2021

  • 口语中老年痴呆症检测的数据增强

    本文通过数据增广方法研究痴呆症检测任务，并在两种建模方式中进行实证评估，结果表明数据增广可提高文本和音频领域的性能。

    Jun, 2022

  • 为痴呆症检测增加有针对性的特征的神经模型

    本研究采用基于 CNN-LSTM 体系结构的神经模型，使用定向和隐式学习的方法从对话转录中学习，从而检测阿尔茨海默病及相关痴呆疾病的存在，实现了对 DementiaBank 数据集的新的最先进性能，将参与者分类为 AD 和对照组的 F1 分数达到 0.929。

    Jun, 2019

  • 多模式识别阿尔茨海默病综述

    老年痴呆症是一种以认知障碍和记忆损失为特征的进行性神经障碍。本文旨在探索多种模态及其融合方法，提高早期诊断和干预老年痴呆症的效果。

    Oct, 2023