ContIG:医学成像与基因组学的自监督多模态对比学习
我们提出了一种使用两个不同子网络来探索和利用它们之间差异的方法,最终纠正错误的预测结果,通过有针对性的验证训练过程识别不一致预测的区域并进行微调,从而提高上下文信息的利用;此外,为了自适应地调整网络的表示能力并降低预测不确定性,我们采用了自监督对比学习范式,利用网络的置信度区分可靠和不可靠的预测,并训练模型有效地最小化不可靠的预测;我们的实验结果来自于临床 MRI 和 CT 扫描的器官分割,与最先进的方法相比,证明了我们方法的有效性。
Nov, 2023
利用多模态成像、深度学习和对比学习方法,从多模态 MRI 数据中学习鲁棒的潜在特征表示,将异构特征投影到共享空间,整合不同模态和类似主体间的互补和类似信息,进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。
Dec, 2023
本文提出了一种利用元标签注释的对比学习方法,用于医学影像分割中模型表现的优化。模型在预训练和半监督训练中使用元标签注释,并采用自适应学习方法消除噪声标签,实验结果表明这种方法在几个数据集下表现优异。
Jul, 2021
该研究介绍了一种结合 SimCLR 和 SCARF 的自监督对比学习框架,使用心脏 MR 图像和 120 项临床特征预测冠状动脉疾病风险,并展示了标签作为特征的监督式对比学习的性能。
Mar, 2023
通过利用现有数据的局部或稀疏标注分割标签,我们开发了一种成本效益方法来解决与来自不同来源的数据的标签歧义、模态、数据集和分割标签的不平衡相关的挑战,实验结果表明,我们的方法在腹部器官分割的多模态数据集上表现出卓越的性能,凸显出优化现有标注数据使用和减少新数据标注工作以进一步增强模型能力的潜力。
Nov, 2023
通过提出的 Gradient Mitigator 方法,我们解决了梯度引导的方式下不相容的多角度元标签之间的 “语义矛盾” 问题,并开发了一种名为 Gradient Filter 的新方法,根据梯度幅度动态筛选具有最具区分性能量的像素对,从而使得经过预训练的模型实现更好的高级语义识别能力。综合实验验证了我们的新方法 GCL:(1)学习了信息丰富的图像表示并显著提高了使用有限标签的分割性能,(2)在分布不一致的数据集上展示了良好的泛化能力。
Sep, 2023
本文介绍了一种用于肿瘤分割的新型深度学习方法,该方法使用了基于图像转换和 Segementation 的迭代自训练算法以及一种名为 GBA(Generative Blending Augmentation)的数据增强技术,使用 SinGAN 生成模型来使目标肿瘤出现得更加真实,从而提高了分割模型的泛化能力,并在 MICCAI CrossMoDA 2022 演示中的肿瘤分割任务中名列前茅。
Apr, 2023
本文探讨在医学成像中使用自监督深度学习的应用,特别是在存在两种扫描模式的同一主体的情况下。通过使用来自英国生物库的超过 20,000 个主体的完整身体迪克森技术磁共振(MR)扫描和双能 X 射线吸收计量(DXA)扫描的大型公开数据集,作者提出了一种针对多模式图像匹配对比框架,并且可以在没有监督的情况下执行自动跨模式扫描配准。最后,作者使用这些配准将 DXA 扫描的分割图传输到 MR 扫描中,在不需要地面真实 MR 样本的情况下,训练可以分割解剖区域的网络。
Jul, 2021
本文介绍了一种利用自监督学习和对比学习实现的影像分割技术,该技术可以在大量没有标注数据的情况下学习,并且在三个磁共振成像数据集上验证了其有效性。
Jun, 2020