Jan, 2024

多模态神经退行性疾病分类的 ChatGPT 解释

TL;DR阿尔茨海默病(AD)是最常见的神经退行性疾病,但目前的可用治疗方法仅限于停止疾病进展。此外,由于该疾病的异质性,这些治疗方法的有效性并不保证。因此,能够在早期阶段确定疾病亚型至关重要。我们提出了一个多模态框架,使用早期指标如图像、遗传学和临床评估来对早期阶段的 AD 患者进行亚型分类。同时,我们建立提示并使用大型语言模型(如 ChatGPT)来解释我们模型的发现。在我们的框架中,我们提出了一个三模态共同关注机制(Tri-COAT),以明确学习跨模态特征关联。我们提出的模型优于基线模型,并提供了支持已知生物学机制的关键跨模态特征关联的洞察。