Jul, 2024
基于解释的模型指导将图像分类器转化为分割模型
Model Guidance via Explanations Turns Image Classifiers into
Segmentation Models
TL;DR利用解释性AI方法，如Grad-CAM和LRP生成的热图在许多情况下与输入图像的分割相似，因此利用热图可以实现利用图像级监督进行弱监督分割。同时，可以对可微分的热图施加损失，这用于提高热图的人工可解释性、对网络进行正则化以获得更好的泛化能力、训练多样的网络集合，以及明确忽略混淆的输入特征。由于后一种应用类型，对热图施加损失的范式通常称为“为了正确的理由而正确”，我们通过将半监督分割作为新的使用案例来统一这两个研究方向。首先，我们展示了可微分热图架构和标准编码器-解码器架构之间的形式上的相似性，其次，我们证明这种可微分热图架构在使用标准分割损失函数进行训练时可以得到有竞争力的结果，第三，我们展示了这种架构可以利用以图像级标签和少量像素级标签的形式进行弱监督训练，优于可比较的编码器-解码器模型。代码可在https://github.com/Kainmueller-Lab/TW-autoencoder找到。