Jan, 2024

M2ORT: 基于组织病理学图像的空间转录组学预测的多对一回归变换器

PDF
TL;DR利用多对一回归变压器 M2ORT，通过分解多尺度特征提取器来处理病理图像的层次结构，从而直接从数字病理图像预测空间转录组学表达，实现了更少的参数和浮点计算，并在三个公共转录组学数据集上取得了最先进的性能。
spatial transcriptomicsgene expressionshistopathology imagesmany-to-one regression transformerdigital pathology images
发现论文，激发创造
  • 通过多视图图形对比学习与 HSIC 瓶颈正则化从组织学中预测空间分辨率基因表达

    通过多视图图对比学习和 HSIC 约束正规化方法构建的空间转录组学 (ST) 框架 (ST-GCHB)，以学习共享表示来考虑空间依赖性，从而根据查询的图像点来估计相应的基因表达量。

    Jun, 2024

  • STimage-1K4M: 一个用于空间转录组学的组织病理学图片 - 基因表达数据集

    本研究介绍了 STimage-1K4M，这是一个包含基因表达信息的新型数据集，用于多模态数据分析和计算病理学等领域，为细胞病理学研究提供了前所未有的精细度。

    Jun, 2024

  • 基于多模态最优传输的具有全局结构一致性的共同注意力变换器，用于生存预测

    提出了一种用于生存预测的多模式最优传输协方差建议变压器框架，其中使用最优传输来匹配外展病理学切片和基因嵌入，以选择信息丰富的块来表示巨像素 WSI。

    Jun, 2023

  • 病理与基因组学多模态变压器用于生存情况预测

    提出了一种多模态变压器模型 (PathOmics)，将病理学和基因组学洞察力结合到结直肠相关癌症存活预测中，通过无监督预训练来捕捉吉格像素全幅图像和各种基因组数据之间的固有互动，并且在预训练的多模态知识聚合后，我们的任务特定模型微调可以扩大适用于多模态和单模态数据（如仅图像或基因组）的数据效用范围，验证结果表明我们的方法在 TCGA 结直肠癌队列上是具有竞争力的并且胜过现有研究。

    Jul, 2023

  • MGCT: 基于综合组织病理学 - 基因组特征的生存结局预测的互相引导的跨模态变换器

    基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

    Nov, 2023

  • 基于分层区域的多实例学习中的 Transformer

    我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

    Aug, 2023

  • 跨模型扩散建模用于高分辨率空间转录组学

    使用跨模态条件扩散模型，结合组织学图像和基因表达进行超分辨率空间转录测序图，实现了更高的精度和性能。

    Apr, 2024

  • 提升空间转录组学数据的潜在能力

    Spatial transcriptomics 技术在组织中提供了多模态的转录组、空间和形态学数据，为了解转录组以外的组织生物学提供了机会。然而，我们发现 ST 数据种类中存在模态偏差现象，即不同模态对标签的贡献不一致导致分析方法倾向于保留主导模态的信息。本文介绍了一种名为 MuST 的多模态结构转换方法，它有效地将 ST 数据中包含的多模态信息整合到均匀的潜空间，为所有下游任务提供基础。通过拓扑发现策略和拓扑融合损失函数学习内在的局部结构，解决不同模态之间的不一致性。因此，这些基于拓扑的和深度学习技术为各种分析任务提供了坚实的基础，协调了不同的模态。MuST 的有效性通过性能评估和生物学意义进行了评估。结果表明，它在识别和保留组织和生物标志物结构的准确性方面优于现有的最先进方法。MuST 为复杂生物系统的精细分析提供了多功能工具包。

    Jan, 2024

  • 使用预训练视觉 Transformer 和 BERT 自动生成组织病理学图像报告

    通过使用预训练的 Vision Transformer 将整个高分辨率图像编码为 4096x4096 大小的补丁，并使用预训练的 BERT 模型进行基于语言建模的解码，我们建立了一个性能良好且可移植的报告生成机制，不仅能生成和评估描述图像的标题，还可以帮助将图像分类为组织类型和患者的性别。

    Dec, 2023

  • 癌症生存预测的多模态原型

    整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

    Jun, 2024