Oct, 2023

IMITATE: 临床先验引导的分层视觉-语言预训练

TL;DR为了利用医学报告的层次结构,从医学图像中提取多层次的视觉特征,并通过新的临床信息对比损失实现异构模态学习,我们提出了一种名为IMITATE的新型临床先验指导的视觉语言预训练框架,该框架在五项医学成像下游任务中优于基准方法,突出了整合医学报告的层次结构进行视觉语言对齐的优势。