编码器 - 解码器网络中的可解释变换

ICCVOct, 2017

编码器 - 解码器网络中的可解释变换

Interpretable Transformations with Encoder-Decoder Networks

Daniel E. Worrall, Stephan J. Garbin, Daniyar Turmukhambetov, Gabriel J. Brostow

TL;DR本文介绍了用自定义特征转换层构建深度特征空间，并通过显式解缠模型在多个数据集和转换上显示出明显优势，并提供传统任务（如分类）的帮助。

Abstract

deep feature spaces have the capacity to encode complex transformations of their input data. However, understanding the relative feature-space relationship between two transformed encoded images is difficult. For instance, what is the relative feature space relationship between two rot

deep feature spaces disentangled representations transforming encoder-decoder network degree of freedom classification

发现论文，激发创造

生成模型中外观和视角的明确分离

通过一个双重潜在空间信息的生成模型，我们利用空间变换器和变分自动编码器构成了一种具有归纳偏差的 Variationally Inferred Transformational Autoencoder (VITAE) 方法用于实现解缠表示的学习，实验结果表明，我们的模型在 MNIST 图像上有效区分了数字类型和视觉风格，对于 CelebA 数据集，能够将人脸外形和姿态以及面部特征与面部形状分开。

Jun, 2019

通过独立子空间学习分离的表示

本论文提出了一种利用神经网络学习解开图像可控制性表示从而允许局部图像操作的方法，能够直接转移面部特定区域如眼睛、头发和嘴巴等部分的形状和颜色，而其他部位不变，通过使用定位的 ResNet 自编码器和几个损失函数进行训练，利用 CelebA 数据集检验了该方法的良好效果。

Aug, 2019

在深层特征空间中区分图像失真

本文探讨深度视觉表示能力在不同类型图像畸变中的表现，通过分析不同深度神经网络层所提取的特征，证明不同网络层具备分离不同畸变类型的能力，并评估特征在图像质量评估和畸变特征和严重性级别刻画上的应用，结果表明深度视觉表示具有有效地表征各种图像畸变的能力。

Feb, 2020

通过潜在空间映射的人脸身份分离

本文提供了一种使用预训练网络来学习数据的解缠表示的方法，以实现最小的监督，同时展示了该方法在头部图像领域上成功将身份从其他面部属性中解缠并显示出较好的评估结果。

May, 2020

在编码神经网络潜空间中表示闭合变换路径

本文使用生成流形模型改变自编码器的潜在空间，以适应数据中的低维流形结构并学习复杂系统的潜在动态，生成转换路径并对属于同一转换路径的样本进行分类。

Dec, 2019

通过逆向相对投影的潜空间转换

通过对相对空间的角度保持相对表示的可逆性进行形式化，并假设神经模型中解码器模块的尺度不变性，我们将两种方法结合起来，通过相对空间获得潜在空间转换的新方法。通过在各种架构和数据集上进行大量实验证实了我们的尺度不变性假设，并证明了我们方法在潜在空间转换中的高准确性。我们还将我们的方法应用于任意预训练文本和图像编码器及其分类器之间的零射缝，甚至跨模态。通过组合性，我们的方法具有促进模型实际重用的显著潜力。

Jun, 2024

通过干预解释潜空间

本研究通过使用干预机制，利用离散变分自编码器来转移预测类别，进而可视化任何隐藏层的编码信息和对应的被干预表示来揭示深度神经网络的隐含概念，并通过评估原始表示与被干预表示之间的差异来确定可改变类别的概念，从而提高模型的可解释性。我们在 CelebA 数据集上展示了我们方法的有效性，并展示了有偏差数据的各种可视化并提供不同的干预方法来揭示和更正偏见。

Dec, 2021

基于循环变换的弱监督解缠合技术用于三维视图合成

这篇论文介绍了一种利用神经网络来解决从单一图像生成多角度视角的问题，并且在人脸和椅子等特定物体类别的数据上取得了良好的效果，同时展示了模型无需完全监督就可在多个应用中使用的能力。

Jan, 2016

语义对齐下的潜在空间翻译

通过简单的转换，我们的研究展示了神经网络模型中学习到的表示可以在不同的预训练网络之间进行转化，从而有效地连接编码器和解码器，并实现在多模态设置下的出色分类性能。

Nov, 2023

深度特征空间：几何视角

本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。

Jun, 2020