Dec, 2023

当一张图像价值 1,024 x 1,024 个词：计算病理学案例研究

PDF
TL;DR本技术报告介绍了 LongViT，一种能够以端到端方式处理十亿像素图像的视觉 Transformer。我们将十亿像素图像分割成数百万个补丁，并线性投影到嵌入中。然后，我们使用 LongNet 对这个极长序列进行建模，生成捕捉了短程和长程依赖关系的表示。LongNet 的线性计算复杂度和分布式算法克服了计算和内存的限制。我们将 LongViT 应用于计算病理学领域，旨在进行癌症诊断和预后的十亿像素全切片图像。实验结果表明，LongViT 能够有效编码十亿像素图像，并在癌症亚型分型和生存预测方面优于先前的最先进方法。代码和模型将在此 https URL 上提供。
longvitvision transformergigapixel imageslongnetcomputational pathology
发现论文，激发创造
  • 多尺度视觉 Longformer: 一种新的高分辨率图像编码 Vision Transformer

    本文提出了一种新的 Vision Transformer (ViT) 结构 Multi-Scale Vision Longformer，可以提高处理高分辨率图像的能力，主要通过多尺度模型结构和视觉 Longformer 的注意机制来实现，经过全面的实验表明在多项计算机视觉任务中，新的 ViT 模型比现有的 ViT 模型和基于 ResNet 的模型及其他竞争模型的性能都更好。

    Mar, 2021

  • 通过分层无监督学习将 Vision Transformer 扩展到千兆像素图像

    本文提出了一种新的 ViT 架构 (HIPT)，它利用自我监督学习来学习高分辨率图像表示，并利用 WSI 固有的分层结构进行分层预训练。通过在 33 种癌症类型上对 10,678 个 gigapixel WSI、408,218 个 4096x4096 图像和 104M 个 256x256 图像进行预训练，证明了 HIPT 在癌症亚型划分和生存预测方面优于当前最先进的方法。

    Jun, 2022

  • ViT-V-Net: 用于无监督容积医学图像配准的视觉变换器

    该论文提出了一种基于 ViT 和 ConvNets 的新架构 ViT-V-Net，实现了类医学图像的体积重建。实验结果表明，该方法在图像配准任务中具有优异的性能。

    Apr, 2021

  • 一张图像胜过 16*16 个单词：规模下的图像识别变形金刚

    本文研究使用 Transformer 代替 CNN 进行图像分类，实现在计算资源少的情况下，取得比目前卷积网络更好的识别结果，从而在计算机视觉上取得突破。

    Oct, 2020

  • 基于 Transformer 的端到端图像压缩和分析

    本文提出了一种基于 Transformer 的端到端图像压缩和分析模型，实现云端图像分类应用，并通过两步训练策略解决了率失真精度优化问题。实验结果表明，该模型在图像压缩和分类任务中均具有有效性。

    Dec, 2021

  • 层次视觉 Transformer 用于全切片图像中上下文感知的前列腺癌分级

    该研究探讨了分层视觉 Transformer（H-ViTs）在计算病理学中的应用，评估其在整张切片图像中进行前列腺癌分级的效率，结果显示其与现有最先进解决方案具有竞争力的性能。

    Dec, 2023

  • 超越多实例学习：全分辨率全内存端到端病理切片建模

    人工智能（AI）在大规模数字化临床数据集上训练系统以提高健康结果方面具有巨大潜力。计算病理学作为对诊断和生物标志物具有重大影响的大量显微镜图像数据，处于这一发展的前沿。百亿像素病理学切片由于其巨大的尺寸而面临独特挑战，通常被分成数万个较小的瓷砖进行分析。我们提出了一种新方法，通过在内存中全面高分辨率地同时训练瓷砖编码器和整个切片聚合器来解决这个问题，弥合了输入和切片级监督之间的差距。虽然计算成本更高，但详细的定量验证显示了病理基础模型的大规模预训练的前景。

    Mar, 2024

  • Vim4Path: 自监督视觉玛巴用于组织病理学图像

    基于 Vision Mamba 架构的图像表示学习在计算病理学中显示出显著的性能优势，并具有相对于 Vision Transformers 更好的实用性和模拟病理学家工作流程的能力。

    Apr, 2024

  • LoViT：用于外科阶段识别的长视频 Transformer

    本文介绍了一种称为长视频变压器（LoViT）的两阶段方法，用于融合短期和长期时间信息的融合，可以比当前的方法更好地处理手术过程中的长视频，并通过将本地和全局特征结合起来使用多尺度时间聚合器对手术相位进行分类。研究发现，与现有的方法相比，LoViT 在两个手术视频数据集上的表现最优

    May, 2023

  • 基于时间距离视觉变换器的纵向计算机断层扫描在肺癌诊断中的应用

    通过两种时间距离视觉变换器的解释，本研究对广泛的长期医学影像进行了创新性的分类，并在 CT 肺筛查研究中取得了成功，优于横截面方法。

    Sep, 2022