Oct, 2024

医疗视觉语言预训练能否成功依赖纯合成数据?

TL;DR本研究解决了医疗视觉语言预训练(MedVLP)在缺少高质量图文配对数据情况下的训练问题。通过使用生成模型生成合成放射学报告和胸部X光图像,并提出了一种自动化管道,构建了多样且高质量的合成数据集。研究结果表明,专门使用合成数据训练的MedVLP模型在零样本分类任务中的表现优于基于真实数据的模型,并展示了合成数据在医学图像理解中的潜在积极影响。