如何通过目标传播,使得自编码器对深度神经网络提供信用分配
本文提出了一种称为目标传播的深度网络学习方法,它可以在神经元之间交换随机位而不是实数的情况下进行反向传播,每一层都使用自编码器来计算目标,得到了与反向传播相当的结果。换句话说,该方法提出了一种解决非线性函数下的显式反向传播方法问题的方法,现在已达到了当前的最新水平。
Dec, 2014
本文通过学习每一层的逆函数的形式,提出了一种目标传播方法,它是微分的,即目标是前向传播的一个小扰动,产生了一种近似高斯牛顿梯度下降优化的更新规则。除了比反向传播具有更好的生物学可行性之外,它还可能提供更强的隐含优化过程。在考虑了本地自编码器的情况下,说明了这些迭代过程在每一层上的局部自编码器上计算以实现更精确的反演,并表明如果自编码函数减去恒等函数具有小于 1 的 Lipschitz 常数,则这些迭代程序会指数快地收敛。我们还提出了一种方法来规范每一层的变化,以考虑每一层对输出的相对影响,使得更具影响力的层的权重变化更大,就像在普通的反向传播中使用梯度下降一样。
Jul, 2020
我们提出了一个快速的可解释性解决方案,通过深度泰勒分解框架扩展层级相关传播方法,引入了一种新的验证技术,与基线方法进行比较,在缺少基础真实数据的情况下突出了所提出的可解释性解决方案的计算和质量方面的优势。
Mar, 2023
本文探讨了一种更具生物学可行性的深度表示学习方法,通过一种基础学习规则(即基于突触权重更新的时序相关型可塑性)引出一种机器学习的梯度下降算法,利用神经元动态学实现了近似的变分 EM 算法,提出了使用去噪自编码器实现梯度的方法,并将其在生成学习任务上加以验证。
Feb, 2015
提出了一种名为 Normalization Propagation 的非自适应标准化技术,它的作用类似于批量归一化方法,但其不依赖于批量统计数据,能够有效解决 BN 方法的缺点,同时具有更高的计算效率。
May, 2015
该研究构建了自定义正则化函数用于深度神经网络的监督训练,利用自动编码器得到正则化器,实现分段模型标签的训练,并在语义分割中展示了正则化策略对提高准确率的实验结果。
Apr, 2018
本文介绍了具有鉴别性的循环稀疏自编码器模型,通过反向传播算法进行训练,在最小化无监督稀疏重构误差的基础上,增加一个有监督的分类鉴别项,可以实现深度网络的全部性能,并显著减少可训练参数数量。通过对输入原型进行分类抽象,学习出了分层的编码结构,小规模的鉴别性循环稀疏自编码器在 MNIST 数据集上表现出色。
Jan, 2013