带调制侧连接去噪自编码器学习自然图像的不变表示

ICLRDec, 2014

带调制侧连接去噪自编码器学习自然图像的不变表示

Denoising autoencoder with modulated lateral connections learns invariant representations of natural images

Antti Rasmus, Tapani Raiko, Harri Valpola

TL;DR研究表明，编码器和解码器之间的适当侧向连接可以使去噪自编码器（dAE）的更高层专注于不变表示。添加被允许调制侧向连接的不变特征可以将抽象不变特征翻译为详细的重构，并支持形成不同的不变池。通过在真实世界图像上进行实验，发现添加调制的侧向连接到模型中可以提高模型对输入的概率模型准确性，产生的表示不变度在更高层次上增加得更快，并支持形成多样的不变池塘。

Abstract

Suitable lateral connections between encoder and decoder are shown to allow higher layers of a denoising autoencoder (dAE) to focus on invariant representations. In regular autoencoders, detailed information need

denoising autoencoder invariant representations lateral connections modulated lateral connections poolings

发现论文，激发创造

去噪自编码器中的横向连接支持监督学习

本研究提出了一种基于深度去噪自编码器和横向连接的无监督辅助学习模型，通过反向传播同时最小化监督和无监督成本函数的总和，避免了逐层预训练，显著提高了排列不变 MNIST 分类任务的效果。

Apr, 2015

从神经 PCA 到深度无监督学习

提出了一种支持深度无监督学习的网络，使用编码器到解码器的侧向快捷连接来支持层次结构，并通过去噪自编码器和去噪源分离框架进行学习，以学习不变特征。

Nov, 2014

线性降噪自编码器的动态学习

该研究针对线性去噪自编码器 (DAEs)，探究了输入噪声是如何影响学习的，并发现当正确调整时，噪声可以帮助 DAEs 忽略低方差方向，同时学习重构高方差方向，与标准正则化自编码器相比，噪声具有相似的正则化效果，但具有更快的训练动力学。

Jun, 2018

通过去噪引导潜在表示的文本自编码器教育

本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为 DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

May, 2019

自主深度学习：基于去噪自编码器的增量式学习，处理流动数据

该论文提出了一种可以在数据流分析中自适应构建去噪自编码器 DEVDAN，并以单次学习为基础的方法，通过网络重要性估计来自动添加或修剪输入特征，从而提高分类精度并适应不断变化的环境。

Sep, 2018

去噪对抗自编码器

该研究论文介绍了一种结合去噪和正则化的对抗性自编码器方法，用于学习用于推理的有用表示，并通过实验验证其对于分类性能和样本合成的贡献。

Mar, 2017

自动编码器和深度网络中的噪声分析

自动编码器是无监督学习内部表示的有用框架，本研究将现有的去噪自动编码器扩展到在非线性函数和隐藏单元激活之前注入噪音，提供一种统一的策略来通过设计注入噪声的性质来开发新的内部表示，并表明通过罕见的、去相关、和信息分散的噪声，在深度网络中改善性能。与其他单层技术竞争 MNIST 和 CIFAR-10。

Jun, 2014

残差连接对自监督抽象特征学习的影响

利用加权因子来衰减残差网络内部的标识快捷方式，大大提高了最先进的自监督掩码自编码（MAE）范式中的语义特征学习。我们在 MAE 的 VIT-B/16 骨干网络中对标识快捷方式进行了修改，将 ImageNet 上的线性探测准确度从 67.3% 提升至 72.3%。这个显著差距表明，残差连接结构在促进梯度传播方面发挥了重要作用，但由于将较浅层次的表示注入到更深层次中，它可能对抽象学习的能力产生副作用。我们通过固定公式逐渐减少标识连接的贡献来解决这个问题，这不会影响网络的可训练性。通过分析我们修改后的残差网络学习到的表示，我们发现低有效特征排名与下游任务性能之间存在相关性。

Apr, 2024

使用具有对称跳跃连接的卷积自编码器进行图像恢复

本文提出一种使用对称卷积 - 反卷积层的深度全卷积自编码器网络用于图像修复，通过跳级连接缓解深度网络训练难的问题，达到了更快收敛和更好的修复效果。

Jun, 2016

变分自编码框架中的去噪准则

本文研究了对输入和隐层同时进行噪声注入的变分自编码器，提出了一种改进的目标函数。当输入数据有噪声时，传统的变分自编码器的训练方法不可行，这里提出了一种可行的训练方法。实验结果表明，在 MNIST 和 Frey Face 数据集上，提出的去噪变分自编码器（DVAE）的平均对数似然比 VAE 和重要性加权自编码器更好。

Nov, 2015