终身组织病理学全切片图像检索中的距离一致性复习
本文提出了一种数字病理学搜索引擎 Yottixel,它能够以紧凑的方式代表全切片图像,并使用“条形码组合”(BoB)的算法进行智能编码以实现在大型档案中快速准确地搜索病例。测试结果表明,Yottixel 可以精确地检索器官和恶性肿瘤,并显示其语义排序与人类观察者的主观评估具有很好的一致性。
Nov, 2019
本文通过调查三款最先进的组织病理学幻灯片搜索引擎,对三种实体肿瘤患者的搜索和提取进行了临床评估,发现当前搜索引擎在识别病理学上仍存在困难,因此提出了一些最小化的要求,旨在进一步促进准确和可靠的医学组织病理学图像搜索引擎的发展。
Jun, 2023
本文提出了一种改良位置嵌入的长上下文WSI方法,通过引入线性偏差来处理形状变化的大WSI,并将其从1维长序列适应到2维长上下文WSI中,用于模型对未见或欠拟合位置的外推;同时利用闪存注意力模块解决Transformer的计算复杂性问题,保持了全自注意力的性能。通过在4个数据集上进行WSI分类和生存预测任务的广泛实验证明了我们方法在形状变化的WSIs上的优越性。
Nov, 2023
在组织学和组织病理学影像档案中搜寻相似影像是一项关键任务,可用于患者匹配,从分类、诊断到预后和预测的各个方面。本文详细分析和验证了四种搜索方法(包括视觉词袋、Yottixel、SISH和RetCCL),其算法和结构进行了评估,同时提出需要进一步研究组织病理学图像搜索中准确性和最小存储需求这两个方面的问题。
Jan, 2024
通过相似性计算,利用病理组织学的病理图像可以在研究和临床环境中进行病人之间的匹配,最近的搜索技术进展为细胞结构的定量化提供了可能,可实现不同组织类型的比较,从而对诊断、预后和新患者的预测提供推论,本文综述了用于计算病理学研究中高效、快速和有效的图像搜索方法的最新发展。
Jan, 2024
我们提出了一种新颖的动态图表示算法,将组织病理学切片图像(WSIs)概念化为知识图结构的形式,通过动态构建邻居和带向边嵌入的头尾实例之间的关系,利用知识感知的注意机制更新头结点特征,然后通过全局池化过程获得图级嵌入,作为WSI分类的隐式表示。我们的端到端图表示学习方法在三个TCGA基准数据集和内部测试集上优于最先进的WSI分析方法。
Mar, 2024
多实例学习(MIL)作为一种流行的方法正在用于对组织病理学全幅切片图像进行分类。作者提出了PAMT,这是一种新颖的基于提示的自适应模型转换框架,通过无缝地将预训练模型适应组织病理学数据的特点来提高MIL分类性能。作者引入了代表性补丁采样(RPS)和典型视觉提示(PVP)来重构输入数据,构建一个紧凑而且信息丰富的表示。此外,为了缩小域差异,作者在特征提取流水线中引入了适应性模型转换(AMT),使预训练模型能够学习特定领域的特征。作者在两个公开数据集Camelyon16和TCGA-NSCLC上对该方法进行了严格评估,展示了各种MIL模型的显著改进。作者的发现证实了PAMT在WSI分类中的潜力,强调了有针对性的重新编程方法的价值。
Mar, 2024
基于 BLIP-2 框架,使用病理报告中的精选文本与整张切片图像配对,开发了一种视觉语言模型,实现了共享的图像-文本嵌入空间,如文本或图像检索以寻找感兴趣的案例,以及将 WSI 编码器与冻结的大型语言模型(LLM)集成,以实现基于 WSI 的生成文本能力,如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上,展示了病理医师对文本生成和文本检索的评估,以及 WSI 分类和工作流程优先级排序(切片级别的分流)。平均来说,根据病理医师的评估,78%的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。
Jun, 2024