基于解剖引导的病理分割
通过深度生成网络模拟人体解剖分割的总体和局部形貌特征,并利用条件潜在变量实现对临床疾病的可解释结果可视化诊断,从而为大规模的体积成像研究提供高通量分析的新方法。
Jun, 2019
本文介绍了一种针对医学图像分割的半监督学习框架,名为“Mine yOur owN Anatomy ”(MONA),通过使用更强的数据增强和最近邻等方法,可以有效地处理数据不平衡(tailness)和内部差异(consistency),提高医学图像分割领域的性能。同时,MONA可以在无监督的情况下将医学图像分解为一组解剖特征,并在不同的标签半监督设置下,取得了新的最优性能。
Sep, 2022
本文提出了PathAsst,一种生成式AI助手,利用了ChatGPT/GPT-4和Vicuna-13B语言模型与CLIP视觉编码器,对142K高质量病理图像文本对进行了训练。结果表明,利用这种AI模型可以改善病理诊断和治疗过程。
May, 2023
本研究提出了一种交互式分割方法,通过点击交互,利用基于点击的注意力模块(CGAM)将用户提供的点击约束和特征图中的语义信息相结合,并将其公式化为优化问题,相比现有方法,该方法可避免分割结果过度改变导致用户点击的过拟合问题,模型大小与输入图像大小无关,实验结果表明,该方法优于现有的最先进方法。
Jul, 2023
通过引入可训练的类别提示和病理编码器,本研究将Segment Anything Model(SAM)适应于数字病理学中的语义分割任务,进一步通过增加病理基础模型提高了SAM-Path在数字病理学中的语义分割能力,实验证明在两个公共病理学数据集上,可训练类别提示的微调方案在Dice得分上超过手动提示和后处理的SAM27.52%,在IOU得分上超过71.63%,而增加病理基础模型相对提升Dice得分5.07%至5.12%,IOU得分4.50%至8.48%。
Jul, 2023
PathChat是一种通用的、视觉-语言人工智能助理,经过预训练的视觉编码器与预先训练的大规模语言模型相结合,可用于病理学的教育、研究和临床决策。
Dec, 2023
在医学影像领域,现有的可提示分割方法主要考虑文本或视觉提示,但在处理医学图像中的异常情况(如肿瘤)时往往存在一些局限性,因为肿瘤在形状、大小和外观等方面可能存在很大的变异。为了解决医学场景的复杂性和文本或视觉提示的局限性,我们提出了一种新颖的双提示模式,利用视觉和文本提示的互补优势来分割各种器官和肿瘤。具体而言,我们引入了一种创新的模型CAT,它通过医学领域知识丰富的3D裁剪图像生成解剖提示,与富含医学领域知识的文本提示进行配合。该模型采用了基于查询的通用设计,其中提示查询有助于进行掩模预测的分割查询。为了在统一框架内协调两种类型的提示,我们实现了一个ShareRefiner,它同时改进了分割和提示查询,同时解耦了两种类型的提示。在由10个公共CT数据集组成的联合培训集上进行训练,CAT在多个分割任务中展现出卓越的性能。在一组特殊的内部数据集上进行的进一步验证显示了在多个癌症阶段分割肿瘤的显著能力。这种方法验证了协调多模式提示是解决医学领域复杂场景的一种有前途的途径。
Jun, 2024
本研究解决了数字病理学中语义分割模型在图像数据稀缺时的局限性,提出了一个可训练的Kolmogorov-Arnold网络分类模块,并引入了迄今为止最大的预训练病理视觉编码器(UNI)。研究表明,经过精细调整后,SAM2-PATH在公共病理数据集上取得了竞争性结果,展现了其在数字病理学中的应用潜力。
Aug, 2024