通过前馈反演经过区分训练的分类器理解不变性

ICMLMar, 2021

通过前馈反演经过区分训练的分类器理解不变性

Understanding Invariance via Feedforward Inversion of Discriminatively Trained Classifiers

Piotr Teterwak, Chiyuan Zhang, Dilip Krishnan, Michael C. Mozer

TL;DR本篇文章研究神经网络分类器的信息流动及其影响因素，包括模型结构，训练目标（特别是鲁棒性损失），正确和错误分类图像之间的表征差异，以及对 logits 和图像进行操作的效果，提出了一种基于 BigGAN 的前馈反演模型，可以生成高保真重建的图像。

Abstract

A discriminatively trained neural net classifier can fit the training data perfectly if all information about its input other than class membership has been discarded prior to the output layer. Surprisingly, past research has discovered that some extraneous visual detail remains in the

neural net classifier inversion techniques adversarially robust classifier model biggan information flow

发现论文，激发创造

从梦到精华：通过 DeepInversion 进行零数据知识转移

本文介绍了 DeepInversion 方法用于从神经网络中的图像分布合成图像，使用 Adaptive DeepInversion 提高了生成图像的多样性，并应用于三个数据无关任务中，实现了数据无关的网络剪枝、知识迁移和不断学习。

Dec, 2019

通过分布和特征层次了解深可逆网络的异常检测

我们提出了两种方法来解决通过最大似然训练的深度生成网络在异常检测时的问题，并通过 log likelihood ratios 和多尺度模型，提高了检测性能。

Jun, 2020

通过逆识别标记神经表示

我们提出了一种逆向识别方法 (INVERT)，通过利用学习表示与人可理解的概念之间的区分能力，实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性，还提供了一个可解释的度量来评估表示与其相应解释之间的一致性并提供统计显著性的度量值，强调其实用性和可信度。我们展示了 INVERT 在各种场景中的适用性，包括识别受偶然相关性影响的表示以及对模型中决策层次结构的解释。

Nov, 2023

神秘揭露者：针对深度神经网络的生成模型反演攻击

本文介绍了一种新型攻击方法 —— 生成模型反演攻击，它可以显著地提高逆转深度神经网络的准确率，攻击者使用部分公共信息学习分布先验，引导逆转过程，并且通过实验证明了差分隐私在该攻击下的防御效果有限。

Nov, 2019

i-RevNet：深度可逆网络

通过 i-RevNet 网络的可逆性证明了深度卷积网络并不需要通过逐步丢弃输入信息来学习代表信息以获得泛化能力，并通过线性插值对模型学习到的信息进行了解释。

Feb, 2018

通过生成框架绕过在线类增量学习中的逻辑偏差

本研究提出了一个基于特征空间的生成分类器框架，以解决在线类增量学习中用于避免 softmax 分类器的数量型偏差问题，并通过广泛实验验证了该框架的有效性。

May, 2022

可逆生成模型用于反问题：减轻表示误差和数据集偏差

研究表明，在图像逆问题中，具有零表示误差的可逆神经网络可以作为自然信号的有效先验，在压缩感知等方面比稀疏先验和 GAN 先验更精确。