本研究提出了一种新的方法，通过多模态交互捕获 AD 困扰患者的主要特征，使用 BERT 和 DeiT 等模型搭建语言和声音领域的自注意力模型，采用优化的传输域自适应方法，在标签平滑 calibration 方法的指导下，表现出相对较高的准确性和 F1 分数。

May, 2023

用深度神经网络进行多模态分析调查老年痴呆症，通过在音频、文本和图像等不同模态上进行传递学习，实现了优于现有研究的准确性和 F1 得分

Nov, 2022

本文提出了 SpeechFormer++ 框架，以一种能够有效处理语音的方式来使用 Transformer 技术进行语音处理，实现了在情感识别、抑郁症分类和阿尔茨海默病检测等领域超越当前最先进方法的结果。

Feb, 2023

提出了一种基于 Transformer 的自回归模型，称为 FaceFormer，用于声控 3D 面部动画。该模型能够对长时间音频上下文进行编码，并自回归预测一系列动画 3D 面网格。通过自监督预训练语音表示，使得该模型能够成功解决数据稀缺问题。同时，设计了两种有偏的注意机制，并进行为这个特定任务进行优化。大量实验证明，该方法优于现有的最先进技术。

Dec, 2021

本文提出了一个自然语言处理的架构，该架构可以处理以往需要两个模型完成的任务。通过单一模型，我们分析阿尔茨海默病患者的语言模式和对话上下文，并从两个结果中得出答案：患者分类和聊天机器人。如果聊天机器人在日常生活中识别了患者的语言特征，医生可以为早期诊断制定更精确的诊断和治疗计划。该模型用于开发替代需要专家问卷的聊天机器人。模型执行两个自然语言处理任务：一是 “自然语言分类”，指示患者是否患病的概率，二是生成聊天机器人接下来的 “回答”。通过自我注意神经网络提取患者发言的上下文向量，在编码器中将其与聊天机器人的问题一起输入，以获取包含提问者和患者之间交互特征的矩阵。矢量化的矩阵成为患者分类的概率值。将矩阵与聊天机器人（调解员）下一个答案一起输入到解码器中，以生成下一个发言。通过使用 DmentiaBank 的 cookie theft 描述语料库学习该结构，证实了编码器和解码器的损失函数值显著降低和收敛。这表明，捕捉阿尔茨海默病患者的言语语言模式可以为将来的早期诊断和疾病纵向研究做出贡献。

Oct, 2022

这篇研究论文探讨了如何通过自然语言处理和机器学习等方法，借助 Alzheimer's disease 相关数据集，提高人类认知障碍的检测准确性，与传统检测方法相比，使用 fine-tuned BERT 模型在 Alzheimer's disease 检测任务上具有更好的表现。

Jul, 2020

这项研究通过使用患者的语音和剧本数据，通过预训练语言模型和图神经网络来构建语音剧本的图，并提取特征进行阿尔茨海默病检测，同时引入音频数据和对小数据集进行增强处理，进而将音频特征与文本特征融合，最后尝试将语音剧本转化为音频进行对比学习，研究结果揭示了在使用语音和音频数据进行阿尔茨海默病检测中的挑战和潜在解决方案。

Jul, 2023

提出了一种集成声学、认知和语言特征的多模式系统，使用带时间特征的专业人工神经网络以检测阿尔茨海默病和其严重程度，并在 ADReSS 挑战数据集上获得了 83.3％的精度并在 DementiaBank Pitt 数据库上获得了 88.0％的分类精度，验证了无意识语音的通用性和可移植性。

Aug, 2020

使用多模式深度学习方法通过语音和相应的文本同时检测多种言语段落的诊断，其模型在 Dementiabank Pitt 语料库上获得了 85.3% 的准确率。

Nov, 2020

本文介绍了一种基于 Transformers、无 RNN 结构的深度神经网络，即 SepFormer，并运用多尺度方法使其实现短时和长时依赖性的学习，从而在语音分离任务中取得了最优结果，并具有较高的计算速度和较小的内存占用。

Oct, 2020