Aug, 2023

数字病理学中高效的切片图像分析数据管理

PDF
TL;DR在处理千兆像素数字病理学整张切片图像时，我们通过实施适应性 IO 系统版本 2（ADIOS2）来解决数据访问挑战，构建和发布了一个以数字病理学为中心的流水线，实现了切片图像数据的高效管理，并开发了旨在缩短数据检索时间的策略。我们的研究结果显示，在 CPU 方案中，ADIOS2 的速度比传统方法提升了两倍；在 GPU 方案中，其性能与领先的 GPU I/O 加速框架 NVIDIA Magnum IO GPU Direct Storage（GDS）相当。根据我们所知，这可能是在数字病理学领域内首次使用 ADIOS2。
发现论文，激发创造
  • 肾脏病理图像多标签分割的加速流程 - 全切片图像级别

    本文提出了 Omni-Seg pipeline 的增强版，采用深度学习技术，利用 GPU 加速，针对整个滑动图像（WSIs），实现了多类多尺度病理分割，将平均处理时间从 2.3 小时大幅缩短至 22 分钟。

    May, 2023

  • 数字病理学中的鲁棒图表学习

    本文提出了一种新颖的鲁棒学习方法来解决整张切片图像（WSIs）中的扰动问题，并通过引入图卷积网络（GCN）从图中提取特征，包括去噪和分类层，以改善前列腺癌的诊断准确率。实验结果表明，与非鲁棒算法相比，该模型在癌症诊断方面取得了显著的改善。

    Oct, 2023

  • 超越多实例学习：全分辨率全内存端到端病理切片建模

    人工智能（AI）在大规模数字化临床数据集上训练系统以提高健康结果方面具有巨大潜力。计算病理学作为对诊断和生物标志物具有重大影响的大量显微镜图像数据，处于这一发展的前沿。百亿像素病理学切片由于其巨大的尺寸而面临独特挑战，通常被分成数万个较小的瓷砖进行分析。我们提出了一种新方法，通过在内存中全面高分辨率地同时训练瓷砖编码器和整个切片聚合器来解决这个问题，弥合了输入和切片级监督之间的差距。虽然计算成本更高，但详细的定量验证显示了病理基础模型的大规模预训练的前景。

    Mar, 2024

  • 简化数字病理图像处理的 SPLICE 方法

    数字病理学和人工智能模型的整合已经改变了组织病理学，为全面扫描图像（WSIs）的处理和分析提供了新机遇。本文提出了一种无监督补丁算法 SPLICE，通过顺序分析 WSIs 并选择非冗余特征，将 WSIs 压缩为紧凑的代表性补丁集，从而提高了搜索和匹配应用的准确性，减少了计算时间和存储需求。SPLICE 作为一种无监督方法，可以将组织图像的存储需求降低 50％，从而使计算病理学的许多算法能够更高效地运行，为数字病理学的快速应用铺平了道路。

    Apr, 2024

  • 数字病理学中无旋转偏见的图像表示学习

    本研究提出了三个关键技术贡献，分别为：一种快速的片段选择方法（FPS）用于全切片图像分析，显著降低计算成本同时保持准确性；一种轻量级组织病理特征提取器 PathDino，仅包含五个 Transformer 块和 900 万参数，较其他方法大大减少；一种使用自监督学习的旋转不变表示学习范式，有效减轻过拟合。并且通过在 12 个不同数据集上的评估，证明我们的紧凑模型优于现有的最先进组织病理专用视觉转换器，还验证了其在数字病理学中增强图像分析的鲁棒性。

    Nov, 2023

  • MI-Gen：用于千兆像素全切片图像的病理报告多示例生成

    使用全幻灯片图像生成病理报告的多示例生成模型 (MI-Gen) 可减轻经验不足的病理医生的工作负担并提高临床自动化，同时简单的语义提取可以实现最佳性能且公开可用。

    Nov, 2023

  • 为低资源环境重新思考组织学切片数字化工作流程

    本研究提出了一种新的云数字切片工作流，通过上传低质量视频从廉价且便宜的显微镜中获取整张扫描仪质量的全切片图像（WSIs）。

    May, 2024

  • 基于扩散的千兆像素尺度组织病理全切片图像生成

    用新的扩散性方法生成合成的病理全层切片图像，可以增强计算病理学应用的性能，并且无需数据注释即可学习全层切片图像的表征。

    Nov, 2023

  • PathAlign: 一种适用于组织病理学全切片图像的视觉 - 语言模型

    基于 BLIP-2 框架，使用病理报告中的精选文本与整张切片图像配对，开发了一种视觉语言模型，实现了共享的图像 - 文本嵌入空间，如文本或图像检索以寻找感兴趣的案例，以及将 WSI 编码器与冻结的大型语言模型（LLM）集成，以实现基于 WSI 的生成文本能力，如报告生成或 AI 交互。在超过 35 万张 WSI 和诊断文本配对的去标识化数据集上，展示了病理医师对文本生成和文本检索的评估，以及 WSI 分类和工作流程优先级排序（切片级别的分流）。平均来说，根据病理医师的评估，78％的 WSI 的模型生成的文本准确无误、没有临床上显著的错误或遗漏。这项工作展示了语言与 WSI 嵌入相结合的激动人心的潜力能力。

    Jun, 2024

  • PathM3: 一个用于全幻灯片图像分类和字幕生成的多模式多任务多实例学习框架

    通过多模态多任务多实例学习的 PathM3 框架，有效地将组织切片图像与诊断说明对齐，从而在组织病理学图像分类和生成诊断说明任务上提高了分类准确性和生成效果。

    Mar, 2024