Jul, 2023

利用患者讲话转录和音频数据探索阿尔茨海默病检测的多模态方法

PDF
TL;DR这项研究通过使用患者的语音和剧本数据，通过预训练语言模型和图神经网络来构建语音剧本的图，并提取特征进行阿尔茨海默病检测，同时引入音频数据和对小数据集进行增强处理，进而将音频特征与文本特征融合，最后尝试将语音剧本转化为音频进行对比学习，研究结果揭示了在使用语音和音频数据进行阿尔茨海默病检测中的挑战和潜在解决方案。
发现论文，激发创造
  • 从语音和文本多模态检测阿尔茨海默病

    使用多模式深度学习方法通过语音和相应的文本同时检测多种言语段落的诊断，其模型在 Dementiabank Pitt 语料库上获得了 85.3% 的准确率。

    Nov, 2020

  • 一种基于张量融合层的自发语音痴呆检测的多模态方法

    用深度神经网络进行多模态分析调查老年痴呆症，通过在音频、文本和图像等不同模态上进行传递学习，实现了优于现有研究的准确性和 F1 得分

    Nov, 2022

  • 多模态归纳迁移学习用于阿尔茨海默病及其严重程度检测

    提出了一种集成声学、认知和语言特征的多模式系统，使用带时间特征的专业人工神经网络以检测阿尔茨海默病和其严重程度，并在 ADReSS 挑战数据集上获得了 83.3％的精度并在 DementiaBank Pitt 数据库上获得了 88.0％的分类精度，验证了无意识语音的通用性和可移植性。

    Aug, 2020

  • 口语中老年痴呆症检测的数据增强

    本文通过数据增广方法研究痴呆症检测任务，并在两种建模方式中进行实证评估，结果表明数据增广可提高文本和音频领域的性能。

    Jun, 2022

  • 基于上下文感知注意力层与最优传输域自适应方法的自发言语痴呆识别

    本研究提出了一种新的方法，通过多模态交互捕获 AD 困扰患者的主要特征，使用 BERT 和 DeiT 等模型搭建语言和声音领域的自注意力模型，采用优化的传输域自适应方法，在标签平滑 calibration 方法的指导下，表现出相对较高的准确性和 F1 分数。

    May, 2023

  • INESC-ID 多模态系统 - ADReSS 2020 挑战赛

    本文利用多模态方法，结合语音和文本特征，提出了自动检测阿尔茨海默病的分类框架，并发现语言特征对于阿尔茨海默病的分类比声学特征更为重要，能够提高分类准确率。

    May, 2020

  • 自然语言处理技术在自发言语中预测阿尔茨海默病方面的比较

    该研究使用 Spontaneous Speech 数据集文本转录，使用多种模型对 AD 和正常人的分类和预测进行训练和评估。结果表明，使用 TF-IDF 向量化器作为输入的 SVM 模型和使用 ' DistilBERT ' 的预训练模型作为简单线性模型的嵌入层的模型表现最佳，在分类指标上展示了测试集得分为 0.81-0.82 和 RMSE 为 4.58 的结果。

    Jun, 2020

  • 基于语用学和预训练特征的跨语言阿尔茨海默氏病检测

    该研究利用 openSmile 工具包和 XLSR-53 提取声学特征，将语音转录成文本后提取语言特征进行 AD 患者检测，结果显示该方法能够通过自发性说话实现自动多语言阿尔茨海默病检测，分类准确率为 69.6%，均方根误差为 4.788。

    Mar, 2023

  • 比较基于声学的阿尔茨海默病检测方法

    本研究使用三种不同方法（传统声学特征、预训练声学嵌入和特征和嵌入的组合）对 ADReSSo 挑战数据集上的阿尔茨海默病检测进行了研究，结果表明使用预训练嵌入的分类方法具有更高的跨验证性能和更好的泛化能力，最优模型的表现超过了基线模型 2.8%。

    Jun, 2021

  • 使用听觉、词汇、语调和停顿特征对阿尔茨海默病痴呆进行识别并抗干扰

    本文介绍了两种基于多模态融合的深度学习模型，同时使用 ASR 转录的语音和声纹数据，对结构化诊断任务中的说话人是否存在阿尔茨海默病进行分类，并评估了 ADReSSo 挑战 2021 数据，其中最佳模型 BiLSTM 采用了包括单词、单词概率、口吃特征、停顿信息和各种声学特征的 highway 层，实现了 84％ 的准确率和 4.26 的 MMSE 认知分数预测 RSME 误差。通过使用多模态方法和单词概率、口吃和停顿信息，我们的模型在预测认知衰退时表现出了提高，并且对于使用多模态融合和门控技术进行的 AD 分类，我们展示了相当大的收益。

    Jun, 2021