Mar, 2024

揭示病理学家视觉注意力以揭示他们的专业水平

PDF
TL;DR我们提出了一种根据病理学家在癌症阅片过程中分配注意力的方式来分类病理学家专业知识的方法。通过开发一种预测病理学家在阅读前列腺癌症全幅图像（WSIs）时的注意力的新方法，我们进行了这个解码任务，并进行了癌症分级。通过观察病理学家在阅片过程中通过 WSIs 的 x、y 和 z（放大倍数）的视口移动来衡量病理学家的注意力，到目前为止，我们已经收集了 43 位病理学家在阅片过程中阅读了 123 张 WSIs 的注意行为数据。这些数据表明，专家在注意力和癌症分级上具有更高的一致性，相比之下，普通病理学家和住院医师的一致性较低，这表明通过注意行为可能存在足够的信息来分类病理学家的专业水平。为了尝试这一点，我们训练了一种基于变压器的模型来预测住院医师、普通病理学家和专家（GU）在格里森分级过程中的视觉注意力热图。仅基于病理学家在阅读过程中的注意力，我们的模型能够以 75.3%，56.1% 和 77.2% 的准确率分别预测他们的专业水平，比机会和基线模型更好。因此，我们的模型可以方便而客观地评估病理学家的专业水平，这对病理学培训和能力评估非常重要。从我们的模型开发的工具还可以用于帮助病理学培训人员学习如何像专家一样阅读 WSIs。
pathologist expertiseattention allocationcancer gradingwsistransformer-based model
发现论文，激发创造
  • 一种基于注意力机制和多分辨率的前列腺全扫描图像分类和定位模型

    本文提出了一种基于注意力机制的多实例学习模型，用于幻灯片级别癌症分级和弱监督区域兴趣检测，并在前列腺癌中进行了实验，其利用可视化显著性图来选择信息瓷砖，提高了细粒度等级分类的性能。

    May, 2019

  • 数字病理学中注意力图的可解释性特征研究

    通过引入人工模型混淆因素和使用专用的可解释性评估指标，我们提出了一个框架来评估数字病理学中注意力网络对相关特征的关注能力，发现注意力图的鲁棒性受到混淆因素的类型和数量的影响，该框架可用于评估各种方法并探索驱动模型预测的基于图像的特征，可能有助于生物标志物的发现。

    Jul, 2024

  • 用于诊断全幻灯片图像的语义感知注意引导

    精确的癌症诊断在数字病理学中仍然是一个重要挑战，主要是由于全幻灯片图像中的巨像素大小和复杂空间关系所致。本文引入一种名为 Semantics-Aware Attention Guidance（SAG）的新框架，通过将诊断相关实体转换为注意信号和灵活的注意力损失，有效地整合了组织解剖和癌症区域等语义信息，在两个不同的癌症数据集上的实验证明了模型准确性、精度和召回率的持续改进，并揭示了启发式引导的结合使模型能够关注诊断关键区域。SAG 不仅对于所讨论的模型有效，其适应性还可扩展到任何基于注意力的诊断模型，从而为进一步提高癌症诊断的准确性和效率打开了令人兴奋的可能性。

    Apr, 2024

  • 掩码注意力：提高视觉 Transformer 可解释性的机制

    通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

    Apr, 2024

  • 超越注意力：从弱监督多实例学习模型中得出易于解读的生物学见解

    通过引入预测注意力加权地图和生物特征实例化技术，通过分析 MIL 模型，我们提高了对数字病理学中预测准确性区域的解释性，揭示了前列腺癌诊断中对预后有不良预测作用的区域与肿瘤区域不重合，提出了评估预后时也应研究非癌细胞。

    Sep, 2023

  • 通过深度语义凝视嵌入和扫视路径比较对 OPT 观察期间的专业能力分类

    本文基于卷积神经网络提出了一个新的注视序列比较方法，通过图像分析来探索医学专家和新手在阅读牙齿放射图时眼动行为的差异，结果表明在任务语义影响下，该方法在能够准确区分专家和新手方面表现出较好性能，并且具有将任务语义与眼动行为结合在一起的潜力。

    Mar, 2020

  • 如病理医师一般诊断：变形金刚启用的分层注意力引导多示例学习用于全切片图像分类

    提出了一个全局利用 WSI 的 Hierarchical Attention-Guided Multiple Instance Learning 框架，该框架动态地、全面地发现了 WSIs 的多个分辨率上的显著区域，同时使用 Integrated Attention Transformer（由多个 Integrated Attention Modules 组成）进一步提高了 transformer 的性能，实验表明，该方法在多个数据集上取得了最先进的表现。

    Jan, 2023

  • 透过深度学习模型分析手术室中麻醉医生的视觉注意力

    通过利用深度学习模型处理与监视器安装的网络摄像头，我们收集到了连续的行为数据，并对麻醉师的视觉注意分布进行了研究，该平台可能作为手术室中上下文感知辅助技术的关键组成部分。

    Aug, 2023

  • 利用眼动追踪技术和机器学习来识别放射医生的研究案例

    基于眼动数据的特征编码方法被用于区分放射科医师的水平，该方法在鉴定放射科医师专业水平方面表现优于当前的先进技术。

    Aug, 2023

  • 基于分层区域的多实例学习中的 Transformer

    我们提出了一种基于 Transformer 的多例学习方法，用区域视觉 Transformer 自注意机制替代传统的学习注意机制，通过融合区域块信息来预测整张幻灯片，并展示了如何在不同距离级别上分层处理特征。为了提高预测准确性，尤其是对于具有小区域形态特征的数据集，我们介绍了一种在推断期间将图像处理集中于高注意区域的方法。我们的方法能够显著提高两个组织病理学数据集上的性能，并指出了进一步研究的有希望的方向。

    Aug, 2023