Apr, 2024

用于诊断全幻灯片图像的语义感知注意引导

PDF
TL;DR精确的癌症诊断在数字病理学中仍然是一个重要挑战，主要是由于全幻灯片图像中的巨像素大小和复杂空间关系所致。本文引入一种名为 Semantics-Aware Attention Guidance（SAG）的新框架，通过将诊断相关实体转换为注意信号和灵活的注意力损失，有效地整合了组织解剖和癌症区域等语义信息，在两个不同的癌症数据集上的实验证明了模型准确性、精度和召回率的持续改进，并揭示了启发式引导的结合使模型能够关注诊断关键区域。SAG 不仅对于所讨论的模型有效，其适应性还可扩展到任何基于注意力的诊断模型，从而为进一步提高癌症诊断的准确性和效率打开了令人兴奋的可能性。
发现论文，激发创造
  • 面向半监督医学图像异常检测的空间感知注意力生成对抗网络

    应用空间感知注意力生成对抗网络 (SAGAN) 对医学图像异常检测进行半监督生成，通过定位编码和注意力机制精确聚焦于修复异常区域并保留正常区域，利用生成的健康图像与原图像的差异作为异常分数，实验证明 SAGAN 在三个医学数据集上的性能优于现有方法。

    May, 2024

  • 基于全切片图像的肿瘤生存预测：基于注意力引导的深度多示例学习网络

    此研究提出了一种名为 DeepAttnMISL 的多实例深度学习方法，通过引入两种方式（siamese MI-FCN 和 attention-based MIL pooling）从 WSI 中高效地学习图像特征，然后将 WSI 级别的信息聚合到患者级别。该方法适用于大型数据集，并具有更好的可解释性，可用于癌症患者风险评估和个性化医疗。

    Sep, 2020

  • 一种基于注意力机制和多分辨率的前列腺全扫描图像分类和定位模型

    本文提出了一种基于注意力机制的多实例学习模型，用于幻灯片级别癌症分级和弱监督区域兴趣检测，并在前列腺癌中进行了实验，其利用可视化显著性图来选择信息瓷砖，提高了细粒度等级分类的性能。

    May, 2019

  • 仅仅一个解释是不够的：用于图像分类的结构化注意力图

    本文提出了结构化注意力图 (SAG)，通过捕捉图像区域的不同组合对分类器的置信度的影响，压缩地表示图像的一组注意力图。为了更深入地了解分类器的决策，我们提出了计算 SAG 的方法和 SAG 的可视化。我们对 SAG 与传统注意力图在回答图像分类的反事实问题方面进行了用户研究。结果表明，与基线相比，使用 SAG 的用户回答比较式反事实问题更正确。

    Nov, 2020

  • 基于堆叠语义引导的注意力模型用于细粒度零样本学习

    通过使用类别语义特征逐步指导视觉特征生成注意力图来加权不同局部区域的重要性，提出了一种新的堆叠语义引导注意力（S2GA）模型，将集成的视觉特征和类别语义特征馈入多类别分类架构中进行端到端训练，实验结果表明该方法在细粒度零样本分类和检索任务中表现出了一致的改进。

    May, 2018

  • 基于交叉注意力的全切片图像癌转移预测

    该研究提出了一种基于交叉关注的突出实例推断多实例学习方法，通过一种新的显著性提醒的关注机制，在 WSIs 上无需任何标注即可识别乳腺癌淋巴结微转移，并展示出对小肿瘤病变 WSIs 的出色准确性，具有良好的解释性特点。

    Sep, 2023

  • CAMIL: 基于上下文的多示例学习用于大规模切片图像分类

    本研究开发了一种新的深度学习池化操作符 —— CHARM，以提高癌症诊断的准确性和可解释性，实验结果证明其在非小细胞肺癌和淋巴结转移的亚型识别方面优于其他弱监督分类算法。

    May, 2023

  • 瞄准正确的物品：自动驾驶的引导性语义凝视

    该论文提出了一种基于场景语义和注视信息相结合的自动驾驶注意力预测方法 SAGE，并通过修改自动驾驶的关键预测参数，设计了一个完整的预测框架 SAGE-Net，实验证明 SAGE 在不增加计算量的情况下，可以优于现有技术 87.5% 的案例。

    Nov, 2019

  • CGAM: 基于点击引导的注意力模块，通过反向传播细化交互病理图像分割

    本研究提出了一种交互式分割方法，通过点击交互，利用基于点击的注意力模块（CGAM）将用户提供的点击约束和特征图中的语义信息相结合，并将其公式化为优化问题，相比现有方法，该方法可避免分割结果过度改变导致用户点击的过拟合问题，模型大小与输入图像大小无关，实验结果表明，该方法优于现有的最先进方法。

    Jul, 2023

  • 多染色自注意图多实例学习流程用于组织切片全扫描图像

    提出了一个名为 MUSTANG 的多标引注意力自注意图的无监督吉帕像素多图像分类任务的端到端学习流水线，该任务只具备患者级别标签但没有幻灯片级别标签或区域注释，利用稀疏的 k 最近邻图和欧几里得距离进行操作限制，取得了 0.89/0.92 的 F1 得分 / 曲线下面积，优于广泛使用的 CLAM 模型。

    Sep, 2023