Grad-CAMO: 从 3D 细胞油画图像中学习可解释的单细胞形态特征

Mar, 2024

Grad-CAMO: 从 3D 细胞油画图像中学习可解释的单细胞形态特征

Grad-CAMO: Learning Interpretable Single-Cell Morphological Profiles from 3D Cell Painting Images

Vivek Gopalakrishnan, Jingzhe Ma, Zhiyong Xie

TL;DR深度学习模型在基于图像的药物发现中被广泛用于从显微镜图像中提取单个细胞的特征向量。通过使用可视解释性技术（例如 Grad-CAM），我们发现了监督模型在提取形态特征时作弊的几种机制，即从图像中提取生物学无关的像素，如背景噪音。为了解决研究者期望和机器行为之间的错位，我们引入了 Grad-CAMO，一种用于监督特征提取器的新型单细胞可解释性评分。Grad-CAMO 衡量模型关注细胞本体与背景的比例，可对每个细胞或验证集进行评估，从而提供对个体特征向量的审计或指导深度学习架构的改进设计工具。重要的是，Grad-CAMO 可以无缝集成到现有的工作流程中，无需对数据集或模型进行修改，且与 2D 和 3D 细胞图像数据兼容。

Abstract

Despite their black-box nature, deep learning models are extensively used in image-based drug discovery to extract feature vectors from single cells in microscopy images. To better understand how these networks p

deep learning models image-based drug discovery visual explainability techniques supervised feature extractors grad-camo

发现论文，激发创造

Grad-CAM: 基于梯度的定位，通过深度网络提供视觉解释

该论文提出了 Gradient-weighted Class Activation Mapping (Grad-CAM) 技术，结合细粒度的可视化方法，通过对 CNN 模型中任意目标概念的梯度进行处理，使得决策更加透明和可解释，同时能够定位各个重要部件，提高模型泛化性。作者通过将 Grad-CAM 应用于图像分类、字幕和视觉问答模型，并通过人机交互实验证明，该技术能够帮助用户建立模型的信任度并成功辨别模型的强弱。

Oct, 2016

基于一体化梯度评分的卷积神经网络敏感性感知可视解释

通过计算 Grad-CAM 的基于梯度项的路径积分，我们提出了一种解决方法，可以更好地说明该模型提取的特征对其预测的重要性，对于物体定位和模型解释具有重要意义。

Feb, 2021

Grad-CAM：你为什么这样说？

提出了一种基于 Grad-CAM 的透明度技术，通过可视化重要的输入区域来提高人类对卷积神经网络（CNN）模型的理解，帮助理解包括图像字幕和视觉问答（VQA）模型在内的基于 CNN 的模型，并通过测量它们的分类能力、人类可信度和与遮挡地图的相关性来评估它们的视觉解释。

Nov, 2016

Smooth Grad-CAM++: 深度卷积神经网络模型增强推理可视化技术

本文介绍了一种叫做 Smooth Grad-CAM++ 的新方法，用于可视化神经网络内部的决策过程并解释其输出，该方法在多种场合下表现出更优秀的效果，特别是在物体定位和图像分类方面。

Aug, 2019

Cluster-CAM: 基于聚类加权的 CNN 图像分类决策可视化

本文提出了一种新的基于聚类的 CNN 解释算法 Cluster-CAM，它可以分离特征图并采用认知基础映射和认知剪切策略来合并认知图生成显著性热力图，结果显示 Cluster-CAM 比现有的 CAM 能够更准确地匹配人类认知，且在效率和效果上都具有显著优势。

Feb, 2023

Grad-CAM 在医学图像中的可解释性

可解释的深度学习在医学成像领域引起了广泛关注，研究探讨了可解释的深度学习和 Grad-CAM 在医学成像中的原理、应用技术及局限性，强调了它们对提高医学成像中深度学习模型精确性和解释性的潜力。

Jul, 2023

Grad-CAM++: 深度卷积网络的改进视觉解释

该论文介绍了一个名为 Grad-CAM++ 的泛化方法，它以更好的对象定位和解释单个图像中多个对象实例的方式提供了更好的 CNN 模型预测视觉解释，并在标准数据集上进行了广泛的实验和评估，包括分类，图像字幕生成和 3D 动作识别等多个任务。

Oct, 2017

对比学习实现的一致性解释

该研究通过对 Grad-CAM 解释热图的对比自监督训练，提高了解释一致性，从而在限制数据的精细分类设置中提高了模型准确性，并允许非标记数据的训练。

Oct, 2021

基于 CAM 的方法能穿墙

CAM-based 方法是广泛使用的事后解释性方法，通过生成热点图来解释图像分类模型的决策。在本文中，我们展示了大部分这些方法可能会错误地将重要分数归因于模型无法看到的图像部分。我们从理论和实验两方面分析了该现象，并通过两个新数据集进行了定量评估。我们认为这是有问题的，可能导致对模型行为的错误解释。

Apr, 2024

CAPE: 用于增强深度神经网络解释的概率集成 CAM

本文提出了一种名为 CAPE 的新型 CAM 方法，通过对图像区域的统一概率评估来改善 DNN 解释性，在 CUB 和 ImageNet 等数据集上与最先进的 CAM 方法进行了量化和定性比较，并在描绘具有挑战性的 CMML 诊断问题的细胞学成像数据集上进行了测试。

Apr, 2024