May, 2023

基于上下文感知注意力层与最优传输域自适应方法的自发言语痴呆识别

PDF
TL;DR本研究提出了一种新的方法，通过多模态交互捕获 AD 困扰患者的主要特征，使用 BERT 和 DeiT 等模型搭建语言和声音领域的自注意力模型，采用优化的传输域自适应方法，在标签平滑 calibration 方法的指导下，表现出相对较高的准确性和 F1 分数。
发现论文，激发创造
  • 一种基于张量融合层的自发语音痴呆检测的多模态方法

    用深度神经网络进行多模态分析调查老年痴呆症，通过在音频、文本和图像等不同模态上进行传递学习，实现了优于现有研究的准确性和 F1 得分

    Nov, 2022

  • 从语音和文本多模态检测阿尔茨海默病

    使用多模式深度学习方法通过语音和相应的文本同时检测多种言语段落的诊断，其模型在 Dementiabank Pitt 语料库上获得了 85.3% 的准确率。

    Nov, 2020

  • 利用患者讲话转录和音频数据探索阿尔茨海默病检测的多模态方法

    这项研究通过使用患者的语音和剧本数据，通过预训练语言模型和图神经网络来构建语音剧本的图，并提取特征进行阿尔茨海默病检测，同时引入音频数据和对小数据集进行增强处理，进而将音频特征与文本特征融合，最后尝试将语音剧本转化为音频进行对比学习，研究结果揭示了在使用语音和音频数据进行阿尔茨海默病检测中的挑战和潜在解决方案。

    Jul, 2023

  • 多模态归纳迁移学习用于阿尔茨海默病及其严重程度检测

    提出了一种集成声学、认知和语言特征的多模式系统，使用带时间特征的专业人工神经网络以检测阿尔茨海默病和其严重程度，并在 ADReSS 挑战数据集上获得了 83.3％的精度并在 DementiaBank Pitt 数据库上获得了 88.0％的分类精度，验证了无意识语音的通用性和可移植性。

    Aug, 2020

  • INESC-ID 多模态系统 - ADReSS 2020 挑战赛

    本文利用多模态方法，结合语音和文本特征，提出了自动检测阿尔茨海默病的分类框架，并发现语言特征对于阿尔茨海默病的分类比声学特征更为重要，能够提高分类准确率。

    May, 2020

  • 使用基于语音与基于语言的方法比较在阿尔茨海默病检测中使用 BERT 模型的必要性

    这篇研究论文探讨了如何通过自然语言处理和机器学习等方法，借助 Alzheimer's disease 相关数据集，提高人类认知障碍的检测准确性，与传统检测方法相比，使用 fine-tuned BERT 模型在 Alzheimer's disease 检测任务上具有更好的表现。

    Jul, 2020

  • 使用听觉、词汇、语调和停顿特征对阿尔茨海默病痴呆进行识别并抗干扰

    本文介绍了两种基于多模态融合的深度学习模型，同时使用 ASR 转录的语音和声纹数据，对结构化诊断任务中的说话人是否存在阿尔茨海默病进行分类，并评估了 ADReSSo 挑战 2021 数据，其中最佳模型 BiLSTM 采用了包括单词、单词概率、口吃特征、停顿信息和各种声学特征的 highway 层，实现了 84％ 的准确率和 4.26 的 MMSE 认知分数预测 RSME 误差。通过使用多模态方法和单词概率、口吃和停顿信息，我们的模型在预测认知衰退时表现出了提高，并且对于使用多模态融合和门控技术进行的 AD 分类，我们展示了相当大的收益。

    Jun, 2021

  • 自然语言处理技术在自发言语中预测阿尔茨海默病方面的比较

    该研究使用 Spontaneous Speech 数据集文本转录，使用多种模型对 AD 和正常人的分类和预测进行训练和评估。结果表明，使用 TF-IDF 向量化器作为输入的 SVM 模型和使用 ' DistilBERT ' 的预训练模型作为简单线性模型的嵌入层的模型表现最佳，在分类指标上展示了测试集得分为 0.81-0.82 和 RMSE 为 4.58 的结果。

    Jun, 2020

  • 口语中老年痴呆症检测的数据增强

    本文通过数据增广方法研究痴呆症检测任务，并在两种建模方式中进行实证评估，结果表明数据增广可提高文本和音频领域的性能。

    Jun, 2022

  • 多模态对比学习和表格注意力模型在自动化阿尔茨海默病预测中的应用

    提出了一种通用的多模态对比学习框架，用于结合图像数据和表格数据，通过新颖的表格注意模块增强和排名表格中突出特征，并应用于阿尔茨海默病预测，实验证明了该框架的有效性。

    Aug, 2023