May, 2023

HGT: 使用 CT 图像和文本进行多模态假体周围关节感染诊断的分层 GCN 基础 Transformer

PDF
TL;DR本研究提出了一种基于深度学习和多模态技术的诊断方法 HGT，通过单向选择性注意机制和基于图卷积网络（GCN）的特征融合网络，有效地将 CT 扫描图像和患者的数字文本数据特征融合。经过消融实验和可解释性评估，该方法在自定义的多模态 PJI 数据集上取得了 91.4％ 的准确率和 95.9％ 的曲线下面积（AUC），在 ACC 和 AUC 上分别优于最近的多模态方法，并仅使用了 68M 的参数计数。该方法可以为临床医生提供额外的诊断工具，以提高诊断精度和效率。
prosthetic joint infectiondiagnostic methodmultimodal techniquesdeep learninginterpretability evaluations
发现论文，激发创造
  • 基于交互注意力和卷积的多模态方法用于术后感染诊断

    该研究提出了一种基于自监督蒙面自编码器预训练策略和多模态融合诊断网络的新型 PJI 诊断方法，取得了非常好的诊断效果，可为临床医生提供一个增强了准确性和效率的强有力工具。

    May, 2023

  • MGCT: 基于综合组织病理学 - 基因组特征的生存结局预测的互相引导的跨模态变换器

    基于深度学习的计算病理学领域的研究表明，利用全切片图像（WSIs）客观预测癌症患者预后的效果显著。然而，目前大多数预后方法局限于组织病理学或基因组学，不可避免地降低了其准确预测患者预后的潜力。为了解决这些问题，我们提出了一种弱监督、基于注意机制的多模态学习框架 —— 互相引导的跨模态转换器（MGCT），可以利用组织学特征和基因组特征来建模肿瘤微环境内的基因型 - 表型相互作用。通过使用来自癌症基因组图谱（TCGA）的五种不同癌症类型的近 3600 个 Gigapixel WSIs 进行实验，广泛的实验结果一致表明 MGCT 优于现有的最先进方法（SOTA）。

    Nov, 2023

  • 通过生物信息学的跨模态图学习，实现病理基因融合以用于生存分析

    基于多模态融合模型，结合病理图像和基因组数据，本文提出一种适用于癌症生存分析的病理基因异质图模型（PGHG）。通过生物学先验知识，该模型实现了特征提取、生存预测和可解释性展示等功能，并在多个癌症数据集上证明了其性能优越性。

    Apr, 2024

  • 超图 - 变换器（HGT）用于腹腔镜和机器人手术中的交互式事件预测

    为了辅助和决策微创手术中的术中事件和行动，理解并预测术中事件和行动的机器自动化预测方法是关键。我们提出了一个预测性神经网络，能够从腹腔镜视频中理解和预测外科手术过程的关键交互方面，并灵活利用外科知识图谱。该方法采用了一个超图转换器结构来将专家知识编码到网络设计中，并预测图的隐藏嵌入。我们在已有的外科数据集和应用中验证了我们的方法，包括动作三元组的检测和预测，以及安全关键视野的实现。此外，我们还解决了特定的与安全相关的任务，如在实现安全关键视野之前预测囊管或动脉的夹闭操作。我们的结果表明，相比于非结构化的替代方法，我们的方法具有优势。

    Feb, 2024

  • PHG-Net：基于持久同调引导的医学图像分类

    我们提出了一种名为 PHG-Net 的方法，利用持久同调技术来探索医学图像分类中的拓扑特征，通过轻量级的 PH 模块将拓扑特征与卷积神经网络或 Transformer 结合，实现综合特征提取和融合，从而在目标分类任务中显著改善了现有方法。

    Nov, 2023

  • 跨模态临床图形变换器用于眼科报告生成

    该论文提出了一种用于眼科报告生成的交叉模态临床图变换器（CGT）模型，该模型利用数据驱动的神经网络和临床关系三元组注入到视觉特征中，以提高模型的效果并克服基于通用生物医学知识库的知识注入的局限性。通过自然语言处理，该模型从领域内训练报告中提取临床实体和关系数据，并在编码过程中仅限制可见矩阵的影响，实现了优于之前基准模型的最佳表现。

    Jun, 2022

  • 癌症生存预测的多模态原型

    整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。

    Jun, 2024

  • 组织基因知识蒸馏用于癌症预后从组织病理学全扫描图像

    G-HANet 是一种新颖的基于基因组知识提炼的超级关注网络，通过对 WSI 图像进行基因组数据重构，实现了来自组织病理学和基因组学角度的病人超级关注建模，以改善癌症预后。

    Mar, 2024

  • 组织病理学全幻灯片图像的集成图形转换框架的表示和分类

    通过引入整合图转换器框架，本研究在数字病理学中用于弱监督组织病理学全幻灯片图像分类的多实例学习策略可以同时捕捉上下文感知的关系特征和全局图像表示，实验证明该方法在 WSI 数据集上具有优越性能，准确率提高 1.0%-2.6%，在 AUROC 上提高 0.7%-1.6%。

    Mar, 2024

  • HIGT：用于全幻灯片图像分析的分层交互图变换器

    本文提出了一种用于 WSI 分析的新型 Hierarchical Interaction Graph-Transformer（HIGT），通过学习 WSI 金字塔的局部和全局特征，并建立不同层次之间的双向交互，实现了肿瘤亚型和分期任务上的优于现有方法的性能。

    Sep, 2023