基于分段增强对比表示学习的医学报告生成
该研究针对医学图像生成任务的特殊性,提出了基于能力的多模态课程学习框架(CMCL),并在公开数据集上进行了实验,证明该框架可用于改善数据偏差和提高现有模型的性能。
Jun, 2022
本篇论文提出了一种弱监督的对比损失方法,用于提高放射学报告生成的文本质量,实验结果表明该方法在两个公共基准数据集上在临床正确性和文本生成指标方面优于以前的工作。
Sep, 2021
提出了一种基于记忆的跨模态语义对齐模型(MCSAM),它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示,以及检索和使用检索到的记忆进行特征整合的先验知识,同时通过交叉模态语义对齐模块(SAM)生成语义视觉特征嵌入,有助于报告生成;通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息,实验证明该方法在 MIMIC-CXR 数据集上具有有前景的性能表现。
Mar, 2024
本文提出了一种 MCSC 框架,联合训练 CNN 和 Transformer 模型,并采用多尺度交叉监督对比学习来对医学图像进行结构分割。实验证明,该方法在 Dice 系数上比现有的半监督方法提高了 3.0% 以上,并且大大缩小了与全监督方法之间的性能差距。
Jun, 2023
提出了一种病变引导的可解释性小样本医学报告生成框架,该框架通过视觉和语义特征对齐学习见过的和新疾病类型之间的相关性,从而生成未在训练中观察到的疾病的报告。
Nov, 2022
提出了一种新颖的框架 ——MedCLIP-SAM,结合了 CLIP 和 SAM 模型,使用文本提示在零样本和弱监督设置中生成临床扫描的分割,通过广泛测试三个不同的分割任务和医学图像模态,证明了该框架具有出色的准确性。
Mar, 2024
本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块,并引入新颖的医学概念生成网络来预测细粒度语义概念,并将其作为指导结合到自动生成医学报告的过程中,最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中,表现出了优异的性能。
Aug, 2022
该研究介绍了一种名为 DCL 的知识图动态结构方法,它使用对比学习技术融合了医学报告的特定和通用知识,用于自动生成医学报告,并在 IU-Xray 和 MIMIC-CXR 数据集上实验表明,DCL 优于之前的最先进模型。
Mar, 2023
提出了一种临床导向的多级对比学习框架,旨在增强模型提取病变特征和区分病变与低质量因素的能力,从而能够更准确地诊断低质量医学图像的疾病。
Apr, 2024
SAM 在医学图像分析中应用的能力较弱,但在交互式医学图像分割领域是一个有力的注释工具。
Apr, 2023