本文介绍了一种基于递归神经网络的端到端，概率序列转换系统，该系统可以将任意输入序列转换为任意的有限离散输出序列，并在TIMIT语音语料库上提供了音素识别的实验结果。

Nov, 2012

本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

Sep, 2014

本研究提出了一种名为CopyNet的神经网络模型，集成了新的复制机制，可选择性地将输入序列中的子序列放置在输出序列的适当位置，对于文本摘要等任务表现更佳。

Mar, 2016

本文研究了神经网络在序列标注任务上的最优表现及其通用性，接着讨论了序列标注中的迁移学习问题，并验证了将源任务应用于目标任务可以大幅提高性能，从而超越了多个经典任务的最优表现。

Mar, 2017

使用基于蒸馏思想的多任务目标和相应机制解决神经网络在序列迁移学习任务中的灾难性遗忘问题，并在 Twitter 情感分析任务上进行了演示，表明该技术优于 fine-tuning，并且能够不遗忘有用的先前知识。

Apr, 2017

本文提出了一种基于多任务框架和序列到序列模型的语义解析方法，旨在解决语料数据不足限制，较少标注数据任务可以通过从大量标注数据任务中传递学习的方式得到提升，实验结果在自己的数据集中获得了1.0%到4.4%的准确度提升，在ATIS语义解析任务中，准确度提升了2.5%到7.0%。

Jun, 2017

本研究提出了一种新颖的神经网络框架，将预先训练好的字级知识和字符感知神经语言模型相结合，利用转移学习技术实现不依赖于额外监督信号的序列标注任务，并在基准数据集上通过大量实验验证了其有效性和高效性。

Sep, 2017

GITNet 提出了一种统一的位置感知多任务循环神经网络 (RNN) 架构，可以应用于多种自然语言处理任务，包括跨领域序列标记、目标导向情感注释、含有代码混合的情况下的情感分类和词性标注，实验结果表明在这些任务上都优于竞争算法。

Nov, 2018

本文提出一种基于迁移学习的方法，通过在目标模型输出层添加新的神经元并转移源模型参数，实现对源模型知识的有效传递，且通过神经适配器进一步改善了命名实体识别任务中的标签迁移。

Feb, 2019

该研究提出了一种基于残差递归网络的可逆句子嵌入模型，通过无监督编码任务来训练。我们的方法采用基于回归的输出层来重构输入序列的单词向量，通过ADAM优化器实现高准确度和快速训练，同时引入剩余连接和匹配放弃技术，表现出了在自然语言处理领域各种应用的潜力。

Mar, 2023