循环阶梯网络

Jul, 2017

Recurrent Ladder Networks

Isabeau Prémont-Schwarz, Alexander Ilin, Tele Hotloo Hao, Antti Rasmus, Rinu Boney...

TL;DR本文提出了一种基于递归的 Ladder 神经网络扩展，以此解决层次潜在变量模型中需要的推理问题，并证明该架构能够处理包括迭代推理和时间建模在内的各种复杂学习任务，涵盖视频数据的时间建模和提高基于高阶抽象的感知聚类等问题。作者在完全监督、半监督和非监督任务方面都取得了不错的结果，这表明所提出的架构和原则是学习抽象层次结构、学习迭代推理和处理时间信息的强有力工具。

Abstract

We propose a recurrent extension of the Ladder networks whose structure is motivated by the inference required in hierarchical latent variable models. We demonstrate that the recurrent ladder is able to handle a

recurrent ladder iterative inference temporal modeling hierarchical latent variable models perceptual grouping

发现论文，激发创造

分解梯度网络架构

本文研究了一种神经网络架构 Ladder Network，通过剔除或替换部分组件，探究了其各个组成部分的贡献及重要性，并提出了新型组合函数，在全监督和半监督任务中均取得了较好的性能表现。

Nov, 2015

梯形变分自编码器

本文提出了一种新的推断模型 ——“阶梯式变分自动编码器”，并利用逐步添加的近似似然校正生成分布，在生成模型中实现了更深更分布的隐变量层次结构，提供了前沿的预测性能和更紧的下界。

Feb, 2016

用梯度网络进行半监督学习

提出一种深度神经网络模型，通过反向传播同时最小化有监督和无监督代价函数的和，避免了逐层预训练的需要，结合 Ladder 网络和监督学习，实现半监督 MNIST 和 CIFAR-10 分类以及具有置换不变性的 MNIST 分类等诸多性能的最新结果。

Jul, 2015

视频阶梯网络

本研究提出了一种名为 VLN 的神经编码解码模型，通过在每一层引入循环和前馈侧连接实现从所有编码层生成时间摘要，通过加入类似于 ResNet 的残差块进一步提升预测效果，并通过自监督学习在 Moving MNIST 数据集上获得了极简结构和快速推理的竞争性结果。

Dec, 2016

深度、分层生成模型的架构设计

本文介绍了一种基于深度生成模型的架构，该架构在训练过程中使用多层的潜在变量，并且在所有潜在变量和输出之间包括确定性路径，以及提供了一组更丰富的连接，这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明，我们的方法在标准图像建模基准测试中达到了最先进的性能，并且在没有标签信息的情况下可以暴露潜在的类结构，同时可以提供自然图像中被遮挡区域的令人信服的估计。

Dec, 2016

分层多尺度循环神经网络

本文提出了一种多尺度递归神经网络，称为分层多尺度递归神经网络，通过使用新的更新机制，在不使用显式边界信息的情况下捕获序列中的潜在分层结构，从而解决递归神经网络中的层次和时间表示问题，并在字符级别语言建模和手写序列建模上进行评估。

Sep, 2016

循环高速公路网络

本文提出了一种基于 Gersgorin 圆定理的递归网络理论分析方法，从而引入 Recurrent Highway Networks 的新型结构以提高深度递归神经网络的研究难度并展示其在语言建模上的高效性和有效性。

Jul, 2016

使用连续递归神经网络建模分层结构

本文提出 Continuous Recursive Neural Network (CRvNN) 作为递归神经网络（RvNN）的可替换方案，以解决传统 RvNN 在处理序列中诱导潜在结构方面的局限性，并通过在潜在结构中引入连续松弛来改进该方案，从而在逻辑推理和自然语言处理等多项任务中取得了显著表现。

Jun, 2021

建模分层结构的重要性与循环神经网络

比较循环神经网络和非循环神经网络对于建模层级结构的能力，发现循环神经网络在这方面的重要性。

Mar, 2018

长期循环卷积网络用于视觉识别和描述

研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

Nov, 2014