May, 2024
深度学习表示的自监督视觉语言对骨 X 射线分析的对齐
Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis
Alexandre Englebert, Anne-Sophie Collin, Olivier Cornu, Christophe De Vleeschouwer
TL;DR该研究提出了利用骨骼 X 射线与法语报告的视觉语言预训练来解决骨 X 射线影像学的下游任务。提出了一个实用的处理流程来对法国医学报告进行匿名化和处理。预训练包括来自深度模型编码器的视觉和文本嵌入空间的自我监督对齐。结果的图像编码器用于处理各种下游任务，包括骨关节炎的量化、儿童手腕骨龄的估计、骨折和异常检测。与需要大量人工专家注释的替代方法相比，我们的方法在下游任务上表现出竞争性能。我们的工作是第一项将法国报告整合到用于骨 X 射线表示的嵌入空间的研究，利用了医院中大量的成对图像和报告数据，以在特定语境中依赖通用视觉语言深度模型，为更广泛的医疗应用部署视觉模型作出贡献。