TL;DR我们研究了 GAN 生成的结构与它们在隐藏层中的激活之间的相关性,目的是更好地理解这些模型的内在机制,并能够使用无条件训练的 GAN 绘制结构。这使我们能够更好地控制生成的图像,可以根据语义分割图生成它们,而不需要在训练数据中包含该分割。为此,我们引入了可平铺特征的概念,使我们能够识别适用于绘画的激活。
Abstract
We investigate how generated structures of gans correlate with their
activations in hidden layers, with the purpose of better understandin
本研究提出了一种快速准确的方法,利用卷积将分类和语义分割网络的激活与 GAN 生成器拼接起来,以快速提供附加信息来解释深度学习方法所做出的决策。我们在动物图像和数字病理学扫描的真实组织样本上测试了我们的方法,在这些数据集上,我们的方法与已建立的梯度下降方法提供了可比较的结果,同时运行速度快了两个数量级。
本研究提出了一个新的概念 local activation,通过测量 local activation,可以检测出 GANs 生成的有缺陷的图像。经过实验证明,本方法可以应用于不同数据集的 GANs 中,帮助用户检测和纠正有缺陷的生成图像。同时,通过几何分析,部分揭示了本研究的概念与低视觉保真度之间的关系。