该研究旨在探索多模态联合嵌入并生成医学影像模态和相关放射学报告，并通过受监督和无监督学习的方式，实现在文档检索任务中的表现，发现只需有限的监督即可获得与完全监督方法类似的结果。

Nov, 2018

使用自然组合描述文本，无需人工标注医学图像，通过双向对比目标的方法，使用 ConVIRT 进行预训练的医学图像编码器，将与医学图像配对的文本数据结合起来，极大地提高了数据使用效率。

Oct, 2020

本文介绍了一种基于语义模型的对比学习方法，该方法在生物医学领域的文本-语言建模中取得了目前最先进的结果，利用该方法可以更好地理解医学图像和报告。

Apr, 2022

本文使用公開的印第安納大學放射學報告 (IU-RR) 資料集，訓練具有全局和局部的語言和視覺元素的多模式表示學習方法，進而診斷五種肺病理學，包括肺不脹、心臟肥大、水腫、胸膜積液和實質密度增加。使用CheXpert和CheXphoto這兩種不同的訓練資料集，平均AUC在0.85至0.87之間，這些結果與使用UI-RR的其他研究相比也相當有競爭力。

Jan, 2023

本文提出了一种基于连续提示的统一图像-文本-标签对比学习框架，从数据统一性，多样性和假阴性样本等方面解决了医学图像对比学习中的的挑战，并在多个下游任务中展现出了出色的表现。

Jul, 2023

基于对比学习的视觉-语言联合预训练已成为一种成功的表示学习策略，本文提出了一个原型表示学习框架，将医学图像和报告之间的全局和局部对齐结合起来，通过重构被屏蔽的图像和报告来在训练阶段交换跨模态信息，实验结果表明该方法在多个数据集和不同数据集规模下优于其他方法。

Jul, 2023

利用合成图像从真实医学报告中生成的医学影像，可以有效地实现医学视觉与语言预训练(VLP)，并且在图像分类、语义分割和目标检测等任务上，利用合成数据的性能与真实数据相当甚至超过。

Oct, 2023

利用图像和诊断报告的多模态深度学习在医学影像诊断领域取得了显著进展，尤其在缺乏足够注释信息的辅助诊断方面具有强大的能力，然而，没有详细位置注释的准确定位疾病仍然是一个挑战，现有的方法已尝试利用局部信息实现细粒度语义对齐，但其在提取综合上下文内的细粒度语义能力有限，为解决这一问题，我们提出了一种新的方法，将文本报告中的完整句子作为局部语义对齐的基本单元，我们的方法结合了胸部X射线图像和相应的文本报告，在全局和局部层面进行对比学习，我们的方法在多个数据集上取得的领先结果证实了其在病灶定位任务中的有效性。

Jan, 2024

我们在医学领域中对比了多模式表示学习的综合性基准测试。通过这项研究，我们旨在回答以下研究问题：（i）通用领域表示对医学领域有多大的可转移性？（ii）多模式对比训练是否足够，还是还需要单模态训练的益处？（iii）特征粒度对多模式医学表示学习的有效性有何影响？为了回答这些问题，我们在相同的训练设置下调查了八个对比学习方法，并使用来自四个数据集的280万个图像-文本对进行了训练，并在25个下游任务上进行了评估，包括分类（零样本和线性探测），图像到文本和文本到图像的检索，以及视觉问答。我们的研究结果表明，对于第一个问题，我们的答案是肯定的；对于第二个问题，我们的答案是否定的，而且学习细粒度特征具有益处。最后，我们公开了我们的代码。

Jun, 2024

本文关注于医学放射图像表示学习中的难点，提出了一种混合预训练框架HybridMED，旨在将全球视觉表示与图像的印象部分以及图像的发现部分的视觉表示进行对齐。通过实验，发现该框架有效地提高了模型性能，同时避免了参数的显著增加，展示了知识蒸馏在提升训练过程中的重要作用。

Oct, 2024