用深度神经网络进行多模态分析调查老年痴呆症，通过在音频、文本和图像等不同模态上进行传递学习，实现了优于现有研究的准确性和 F1 得分

Nov, 2022

使用多模式深度学习方法通过语音和相应的文本同时检测多种言语段落的诊断，其模型在 Dementiabank Pitt 语料库上获得了 85.3% 的准确率。

Nov, 2020

本研究采用基于 CNN-LSTM 体系结构的神经模型，使用定向和隐式学习的方法从对话转录中学习，从而检测阿尔茨海默病及相关痴呆疾病的存在，实现了对 DementiaBank 数据集的新的最先进性能，将参与者分类为 AD 和对照组的 F1 分数达到 0.929。

Jun, 2019

本文利用多模态方法，结合语音和文本特征，提出了自动检测阿尔茨海默病的分类框架，并发现语言特征对于阿尔茨海默病的分类比声学特征更为重要，能够提高分类准确率。

May, 2020

这项研究通过使用患者的语音和剧本数据，通过预训练语言模型和图神经网络来构建语音剧本的图，并提取特征进行阿尔茨海默病检测，同时引入音频数据和对小数据集进行增强处理，进而将音频特征与文本特征融合，最后尝试将语音剧本转化为音频进行对比学习，研究结果揭示了在使用语音和音频数据进行阿尔茨海默病检测中的挑战和潜在解决方案。

Jul, 2023

该研究利用 openSmile 工具包和 XLSR-53 提取声学特征，将语音转录成文本后提取语言特征进行 AD 患者检测，结果显示该方法能够通过自发性说话实现自动多语言阿尔茨海默病检测，分类准确率为 69.6%，均方根误差为 4.788。

Mar, 2023

阿尔茨海默病（AD）是认知能力逐渐下降的最常见的痴呆形式之一。本研究采用结构和功能性 MRI 探究了疾病引起的灰质和功能网络连接变化，并引入基因 SNP 作为第三个通道。我们提出了一种基于深度学习的分类框架，使用 Cycle GAN 生成模块来填补潜在空间中的缺失数据。通过整合梯度的可解释 AI 方法，提取了输入特征的相关性，增强了对学习表示的理解。实验结果表明，我们的模型能够在 CN/AD 分类中达到 SOA，平均测试准确率为 0.926±0.02。对于 MCI 任务，使用预训练模型进行 CN/AD 预测的平均准确率为 0.711±0.01。解释性分析揭示了与 AD 相关的皮层和皮下脑区的重要灰质调节，并确定了感觉运动和视觉静息态网络连接的损伤以及与淀粉样蛋白和胆固醇形成和清除调控相关的生物过程的 SNP 突变作为性能的贡献因素。总体而言，我们的综合深度学习方法在 AD 检测和 MCI 预测方面显示出潜力，同时为重要的生物学洞察提供了新的见解。

Jun, 2024

本研究提出了一种新的方法，通过多模态交互捕获 AD 困扰患者的主要特征，使用 BERT 和 DeiT 等模型搭建语言和声音领域的自注意力模型，采用优化的传输域自适应方法，在标签平滑 calibration 方法的指导下，表现出相对较高的准确性和 F1 分数。

May, 2023

本文介绍了 ADReSSo Challenge 的三项预测任务，分别是：阿尔茨海默病的检测，认知测试得分的推断和认知能力下降的预测。通过从音频记录中直接提取声学和语言特征，本文开发的分类和回归模型的基准准确率分别达到了 78.87％，5.28 分的 RMSE 误差和 68.75％。

Mar, 2021

我们的研究通过识别四个不同的预测 AD 的类别，以高加权准确度 98.91% 的方式，有助于更全面地了解和检测该疾病。本研究提出了一种独特的策略，通过在不平衡数据集分类问题中组合集成平均模型和五个不同的迁移学习模型，改善了准确性。EfficientNetB0+Resnet152 和 InceptionV3+EfficientNetB0+Resnet50 模型已经进行了微调，并获得了最高的多类别 AD 阶段分类的加权准确度。

Oct, 2023