本研究提出了两种创新方法 —— 引入残差连接和偏差解码机制，以改进序列标注任务的循环神经网络模型，在 CoNLL 2003 Shared Task NER 数据集上，无论是英文还是西班牙文，本研究的方法都取得了优于现有最佳结果的成果。

Jun, 2017

本文提出了一种基于循环神经网络和长短时记忆单元的句子嵌入模型，该模型能够自动侦测句子中关键词和主题，从而进行网络文档检索等艰难的语言处理任务，并在性能上显著优于现有的先进方法。

Feb, 2015

本研究提出了一种新的深度循环神经网络架构，残差 LSTM，该架构通过增加空间快捷路径来实现高效训练，与之前的工作相比表现更佳。

Jan, 2017

本文介绍一种基于 RNN 和 VAE 的生成模型，该模型可以显式地模拟句子的整体特征，并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子，能够插值生成连贯且新颖的句子，并用于填补缺失的词，同时探索了潜在句子空间的许多有趣属性。

Nov, 2015

该研究提出了一种新的循环神经网络，Gated Recurrent Averaging Network，用于学习通用的句子嵌入表示，相比于之前工作使用的逐词平均和 LSTM 循环神经网络，该方法在迁移学习和监督学习中都有更好的表现，并分析了模型对特定词性和依赖关系的偏好。

Apr, 2017

本研究展示了传统的 ResNet 模型可以被做成可逆的，这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是，我们的方法只需要在训练时增加一个简单的归一化步骤，而不需要将维度分割或限制网络结构。作为一种生成模型，可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然，我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明，可逆 ResNet 在严格意义下表现出色，达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。

Nov, 2018

本文提出了一种名为 RNN Encoder-Decoder 的神经网络模型，该模型由两个循环神经网络（RNN）组成，它将符号序列编码成固定长度的向量表示，并将该表示解码成另一个符号序列，并通过联合训练编码器和解码器来优化目标序列的条件概率，然后将该模型生成的条件概率应用于现有的对数线性模型中，从而提高统计机器翻译系统的性能，并且该模型能够学习到一种语义和句法上有意义的语言短语表示。

Jun, 2014

本研究通过提出一种基于卷积自编码的序列到序列的方法，解决了长文本序列编码与解码时 RNN 存在的问题，同时具有良好的重构和校正能力，适用于自然语言处理中众多应用。在半监督文本分类和摘要生成任务中的定量评估表明，该方法可以更好地利用长篇未标注的文本数据。

Aug, 2017

本文提出了基于 CNN 编码器和 LSTM 解码器的分布式句子表征学习方法，旨在实现对多种任务的应用。作者通过训练模型在大规模小说数据集上获得高通用性的卷积句子编码器，并通过多项实验表明该模型在各类应用中均优于竞争方法。

Nov, 2016

本文研究嵌入式系统中小型深度神经网络的训练方法，提出了一种使用递归神经网络进行知识转移的方法，并通过 Kullback-Leibler 散度最小化来训练小型深度神经网络，结果显示相较于基线结果提高了 13% 的识别准确率。

Apr, 2015