May, 2024
基于知识的视觉语言模型调整策略：为住院医生培训构建筛查乳腺 X 线照片的独特案例集
Knowledge-grounded Adaptation Strategy for Vision-language Models: Building Unique Case-set for Screening Mammograms for Residents Training
Aisha Urooj Khan, John Garrett, Tyler Bradshaw, Lonie Salkowski, Jiwoong Jason Jeong...
TL;DR本研究介绍了一种旨在将可见语言模型（VLM）巧妙地应用于医学领域的框架，采用选择性采样和难负样本挖掘技术以提升检索任务的性能。在两个不同的 VLM（MedCLIP 和 ALBEF）上实施我们的方法，并使用包含乳房 X 光和其相应报告的两个大型数据集来验证其有效性。通过我们的方法，在图像文本检索任务的 Recall@K 性能方面观察到显著的改善。