通过从 X 射线专家模型中提炼知识来引导胸部 CT 图像理解
本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。
Nov, 2022
本篇论文提出了一种弱监督的对比损失方法，用于提高放射学报告生成的文本质量，实验结果表明该方法在两个公共基准数据集上在临床正确性和文本生成指标方面优于以前的工作。
Sep, 2021
本研究探索了使用基于规则的标签机器人进行弱监督的深度学习标签预测模型的潜力，并提出了一种深度学习的 CheXpert 标签预测模型，该模型在基于规则的德国 CheXpert 模型标记的报告上进行了预训练，并在少量手动标记的报告数据集上进行了微调。结果表明，本方法的有效性显著优于基于规则的模型，并强调了即使在稀疏数据场景下，采用深度学习模型的好处和规则标记器作为弱监督工具的用处。
Jun, 2023
通过结合结构化患者数据和非结构化临床记录，我们提出了一种新颖的多模态深度神经网络框架，用于生成描述医学图像结果的胸部 X 射线检查报告，并通过引入条件交叉多头注意力模块来融合这些异构数据模态，弥合视觉和文字数据之间的语义差距。与仅依赖图像的模型相比，实验证明通过使用附加模态可以显著改善结果，在 ROUGE-L 指标上达到了文献相关最高的性能。此外，我们采用了人工评估和临床语义相似度测量以及词重叠度指标来提高定量分析的深度。由经过认证的放射科医师进行的人工评估确认了该模型在识别高级结果方面的准确性，但也强调需要更多的改进以捕捉细微的细节和临床背景。
Nov, 2023
介绍了 CT-RATE 作为第一个将图像与文本报告配对的 3D 医学图像数据集，以及基于该数据集开发的 CT-CLIP 模型在多异常检测和案例检索方面的优越性，从而提升了医疗人工智能的发展和医疗创新。
Mar, 2024
通过非专家标注从自由文本医疗报告中提取自动注释，扩大训练数据集，以增加机器学习算法在医学图像分析中的进展，并比较非专家标注与专家标注的一致程度。
Sep, 2023
通过医疗图片的图像 - 图对比学习框架，利用从放射学记录中自动提取的结构化报告知识图形，独特地编码了断开的图形组件，通过关系图卷积网络和 transformer 注意力机制，在对 CheXpert 数据集进行实验时，在 1% 线性评估和少样本情况下表现优于已有的图像 - 文字对比学习方法，并达到与放射科医生相当的性能；通过利用无标签的配对图像和文本，我们的框架展示了利用结构化的临床见解来增强医学图像的对比学习的潜力，这项工作为减少医疗专家的注释需求、提高诊断精度和推进健康病人护理提供了基础。
May, 2024
本文研究了利用大规模图像 - 文本配对数据集进行视觉语言预训练模型的发展，解决医疗领域中缺乏数据的问题，并通过扩展图像 - 标签对为图像 - 文本对，利用多个图像和多个部分的放射学报告来提高模型性能。同时设计了两个对比损失，ICL 和 TCL，来学习医学图像和报告的研究级特征。我们的模型在相同条件下优于现有的最先进模型。此外，扩大数据集能够提高我们预训练模型的分类性能，尽管在检索性能方面有所牺牲。代码可在此网址获得。
Oct, 2023
通过开源医学图像数据集、基于最新的通用分割和大型语言模型，我们介绍了 RadGenome-Chest CT，这是一个全面的、大规模的、基于 CT-RATE 的区域导向的 3D 胸部 CT 解读数据集，推动了多模态医学基础模型的发展。
Apr, 2024