数字病理中基于集合的单向量全幻灯片图像表示技术的简要调查
使用超过100万个组织样本预训练的自我监督模型UNI,在计算病理学中取得了巨大的突破,具有分辨率无关的组织分类、少样本类别原型的幻灯片分类以及疾病亚型分类等新的建模能力,为解决解剖病理学中各种具有挑战性的任务和临床工作流提供了数据高效、泛化和迁移能力的人工智能模型。
Aug, 2023
基于“Divide & Conquer”方法,我们提出了一种名为SDM的新方法,用于选择一小部分具有不同形态的整个切片图像,以在计算病理学中实现WSI分析、分类和匹配。通过在各种公共和私人组织病理学数据集上进行评估,SDM展现了出色的效果,并通过优化选择过程来捕捉WSI中的不同形态特征,从而消除了Yottixel's mosaic中经验参数化的必要性。
Nov, 2023
数字病理学通过对G级全幅图像(WSI)的分析大大提高了疾病检测和病理学家的效率。我们的研究揭示了特征提取模型和聚合模型超参数之间的相互依赖性,指出选择的超参数可能会使性能可比性产生偏差。通过对162个不同聚合模型配置的三个不同数据集上的七个特征提取模型的评估,我们提供了关于特征提取器和聚合模型之间关系的更细致的理解,从而使数字病理学中的特征提取模型能够获得更公正和准确的评估。
Nov, 2023
在组织学和组织病理学影像档案中搜寻相似影像是一项关键任务,可用于患者匹配,从分类、诊断到预后和预测的各个方面。本文详细分析和验证了四种搜索方法(包括视觉词袋、Yottixel、SISH和RetCCL),其算法和结构进行了评估,同时提出需要进一步研究组织病理学图像搜索中准确性和最小存储需求这两个方面的问题。
Jan, 2024
数字病理学和人工智能模型的整合已经改变了组织病理学,为全面扫描图像(WSIs)的处理和分析提供了新机遇。本文提出了一种无监督补丁算法SPLICE,通过顺序分析WSIs并选择非冗余特征,将WSIs压缩为紧凑的代表性补丁集,从而提高了搜索和匹配应用的准确性,减少了计算时间和存储需求。SPLICE作为一种无监督方法,可以将组织图像的存储需求降低50%,从而使计算病理学的许多算法能够更高效地运行,为数字病理学的快速应用铺平了道路。
Apr, 2024
该研究提出了一种轻量级的病理学FM,即PLUTO,它在多个病理学尺度上从多个WSI中抽取有意义的表示,以支持多样化的病理学任务,包括实例分割、瓦片分类和幻灯片级别预测,并通过在多个基于生物的任务、组织类型、分辨率、染色和扫描仪的外部和内部基准测试中的表现,证明PLUTO相当于或优于现有的基线和基础模型。该研究为病理图像分析提供了通用嵌入的发展方向,并促进进一步探索病理学基础模型在数据多样性、架构改进、样本效率和实际应用中的可行性方面。
May, 2024
基于 BLIP-2 框架,使用病理报告中的精选文本与整张切片图像配对,开发了一种视觉语言模型,实现了共享的图像-文本嵌入空间,如文本或图像检索以寻找感兴趣的案例,以及将 WSI 编码器与冻结的大型语言模型(LLM)集成,以实现基于 WSI 的生成文本能力,如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上,展示了病理医师对文本生成和文本检索的评估,以及 WSI 分类和工作流程优先级排序(切片级别的分流)。平均来说,根据病理医师的评估,78%的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。
Jun, 2024
通过对10种聚合技术在9个临床相关任务中的全面测试分析,结果显示领域特定的基于自我监督学习的模型比基于ImageNet的模型在聚合方法方面表现更好,但空间感知的聚合器仅在使用基于ImageNet预训练模型时才显著提高性能。同时,没有单一模型在所有任务中表现优秀,空间感知模型也不如预期一般表现卓越,这些发现强调了对更具适应性和普适性的聚合技术的需求,以指导未来临床病理学中医学人工智能不断发展的需求。
Jul, 2024
本研究解决了当前组织病理学全幻灯片图像分析中忽视幻灯片之间可能的相互关系的问题。提出的SlideGCD模型通过引入幻灯片间的关联性,提升了现有多实例学习框架的性能,验证了在癌症分型、分期、存活预测和基因突变预测等任务中的有效性和鲁棒性。
Oct, 2024