Jul, 2023

可解释的用于分析流式细胞仪细胞转化器的技术

PDF
TL;DR对于临床应用而言，深度学习模型的解释性尤为重要，尤其是在自动化系统的决策具有深远影响的情况下。本文评估了一种名为 ReluFormer 的 Transformer 模型在 Flow CytoMetry（FCM）数据上的应用，提出了一种针对 FCM 的基于梯度和注意力的可视化技术，并通过儿科急性淋巴细胞白血病（ALL）FCM 样本的细胞分类和多边形回归进行了定性评估，结果展示了模型的决策过程以及如何利用所提出的技术来检查已训练模型的情况。梯度可视化不仅能够识别对特定预测最重要的细胞，还能指示在 FCM 特征空间中，哪些变化对预测影响最大。而注意力可视化则提供了有关 Transformer 在处理 FCM 数据时的决策过程的洞察，我们展示了不同的注意力头在关注不同的生物学意义的子种群上具有专门化的能力，尽管在训练过程中该模型仅利用了监督二元分类信号。
explainabilitydeep learning modelsclinical applicationsflow cytometry datavisualization techniques
发现论文，激发创造
  • 逐流注意力的可解释 Transformer 模型用于通勤流预测

    通过引入 TransFlower，一种可解释的、基于 Transformer 的模型，使用流量 - 流量注意力来预测城市通勤模式，我们的研究在运动力学方面取得了 30.8% 的改进，为城市规划和政策决策提供了重要的移动动态洞察。

    Feb, 2024

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020

  • 基于视觉转换器的脑肿瘤分类方法，借助选择性跨注意力机制和特征校准

    提出了一种利用具有新型跨注意力机制的视觉变换器进行脑肿瘤分类的新方法，该方法充分发挥了变换器在建模长距离依赖性和多尺度特征融合方面的优势。实验证明，该方法在脑肿瘤分类中胜过其他最先进的方法，实现了更高的准确性和效率。所提出的特征校准机制和选择性交叉注意机制可以很容易地集成到其他视觉变换器架构中，成为医学图像分析领域未来研究的有希望的方向。

    Jun, 2024

  • 利用 Set-Transformers 自动进行儿童急性白血病免疫表型评估

    FCM-Former 是一个自动化儿童急性白血病免疫表型评估的机器学习、自注意力基础的流式细胞分析工具，准确度达 96.5%，利用流式细胞数据为每个样本分配细胞系，是首个使用 FCM 数据自动化免疫表型评估儿科急性白血病的工作。

    Jun, 2024

  • Flowformer: 线性化变压器与守恒流

    本文提出了基于流网络理论的 Flow-Attention 机制以解决 Transformers 中注意力机制的复杂度难题，并在各个领域取得了线性时间性能，包括长序列，时间序列，视觉，自然语言和强化学习等。

    Feb, 2022

  • 面向医学成像的视觉 Transformer 解释评价

    本文研究了在医学影像学领域中，Vision Transformer (ViT) 解释方法的表现，证明了 Transformer 的逐层相关传播法胜过本地可解释的模型不可知性解释和注意力可视化方法，在准确和可靠地表示 ViT 已经学到了什么方面提供了更好的表现。

    Apr, 2023

  • 基于 Transformer 的多层注意力解释模型用于表格数据

    该研究提出了一种基于图的注意力机制解释方法用于表格数据，使用 Transformer 架构易于实现可解释性，通过对所有层的注意力矩阵进行建模，通过识别出影响模型预测的重要特征组，可以提供多层的基于注意力的解释。

    Feb, 2023

  • 使用额外的统计信息检查 Transformer 模型的可解释性

    通过考虑层归一化层中标记的统计信息，我们的方法在解释 Swin Transformer 和 ViT 的可解释性方面展现了很强的能力。

    Nov, 2023

  • 使用注意力机制学习基于 DCNN 的图像分类器的视觉解释

    本文提出了两种新的基于学习的 eXplainable AI（XAI）方法，用于深度卷积神经网络（DCNN）图像分类器，称为 L-CAM-Fm 和 L-CAM-Img，通过插入在原始（冻结的）DCNN 中的注意机制，并被训练为从最后一个卷积层的特征映射中导出类激活映射（CAMs）。在 ImageNet 上的实验评估表明，提出的方法在要求单次正向传递的推理阶段实现了竞争结果，并基于推导得出的解释进行了全面的定性分析，提供了有价值的洞察力，用于理解分类错误背后的原因，包括可能影响训练分类器的数据集偏差。

    Sep, 2022

  • 掩码注意力：提高视觉 Transformer 可解释性的机制

    通过在注意机制中使用背景遮罩的新方法，视觉 Transformers 在计算病理学中的背景抑制中取得了可比的性能，提供了更准确和临床意义的注意热图。

    Apr, 2024