Jun, 2023

使用领域预训练语言模型提高低患病率胸部病变的零样本检测

PDF
TL;DR本文探讨利用特定领域预训练模型（如 CXR-BERT、BlueBERT 和 ClinicalBERT）替换 CLIP 的 BERT 权重以提高 CLIP 的性能，并针对低流行病的疾病检测评估了具有特定领域预训练的零样本分类模型，虽然替换权重降低了常见病的模型表现，但我们发现预训练文本确实对低流行病疾病具有更好的性能，鼓励未来使用多种不同的训练语言模型的集成模型以实现最大性能。
zero-shot learningpaired image-text datadomain-specific pre-traininglow-prevalence pathologiesensemble models
发现论文，激发创造
  • CXR-CLIP：大规模胸部 X 光照片语言 - 图像预训练

    本文研究了利用大规模图像 - 文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像 - 标签对为图像 - 文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL 和 TCL，来学习医学图像和报告的研究级特征。我们的模型在相同条件下优于现有的最先进模型。此外，扩大数据集能够提高我们预训练模型的分类性能，尽管在检索性能方面有所牺牲。代码可在此网址获得。

    Oct, 2023

  • 修改 Transformer 结构理解用于胸部放射诊断报告生成的迁移学习

    本论文提出了通过域特定预训练和提出改进的 transformer 架构从胸部放射状图像输入生成临床报告的方法，该方法具有标准化、减少错误、节省时间和便于医学访问的优点，同时还使用验证数据集的指标验证了其性能。

    May, 2022

  • 皮肤科人工智能中零样本概念生成的数据对齐

    人类语义相关且医学领域精确的元标签在皮肤病学中的 AI 分类模型培训中十分稀缺，CLIP 模型可通过利用互联网上的大量图像 - 标题对进行零样本学习以解决数据缺乏的问题，并可以通过使用领域特定的图像 - 标题对对其进行微调来提高分类性能。

    Apr, 2024

  • 探索零样本 CLIP 在间质性肺疾病分类中的多功能性

    本研究采用机器学习的方法，利用多模态（图像和文本）的自监督模型 CLIP，对间质性肺疾病（ILD）进行分类，并探索了如何利用域自适应预训练（DAPT）CLIP 实现零样本分类，通过使用 CLIP 提取的 “patch montage” 和 DAPT，实现了强大的 ILD 分类结果，包括 0.893 的 AUROC，为医学图像分类任务提供了一种新的解决方案。

    Jun, 2023

  • 胸片异常检测的位置指导式提示学习

    该研究论文探讨了基于 CLIP 方法在胸部 X 射线异常检测中的潜力，并提出了一种基于位置引导的提示学习方法和一种新颖的结构保持异常合成方法，实验证明这两种方法优于一些现有方法。

    May, 2024

  • BERTHop：一种用于胸部 X 光疾病诊断的有效视觉语言模型

    本研究探讨了预训练的 Vision-and-language 模型在医学应用中的挑战，提出了基于 PixelHop ++ 和 VisualBERT 的 transformer 模型 BERTHop，以更好地捕获两种模态（图像和文本）之间的关联，并在常用的 OpenI 数据集上实验，结果表明 BERTHop 的平均 AUC 为 98.12％，比现有技术高 1.62％，训练数据集只有其 9 倍大小。

    Aug, 2021

  • 通过从 X 射线专家模型中提炼知识来引导胸部 CT 图像理解

    利用自然语言作为有限可用的数据集辅助胸部 CT 图像理解并通过对比学习技术提高模型的性能。

    Apr, 2024

  • ChatGPT 辅助的可解释零样本医学图像诊断框架

    该研究提出了一种基于 CLIP 和 ChatGPT 的零样本医学图像分类框架，使用大型语言模型自动生成额外的线索和知识以进行更准确和可解释的诊断，展示了 VLM 和 LLM 在医疗应用中的巨大潜力。

    Jul, 2023

  • RoentGen: 胸部 X 光图像生成的视觉语言基础模型

    本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

    Nov, 2022

  • 胸部 X 光片疾病分类的多标签广义零样本学习

    本文提出了一种能够同时预测 CXR 图像中多个已见与未见疾病的多标签广义零样学习 (CXR-ML-GZSL) 网络，借助一个丰富的医学文本语料库提取的语义向量指导图像表示的学习，该网络在 NIH Chest X-ray 数据集上的实验表明其能够优于两个强基线方法。

    Jul, 2021