本研究采用深度转移递归神经网络的模型构架方法，增加了模型的深度，通过多次非线性转化的隐藏状态转移以及线性变换路径的设计，有效解决了梯度消失的问题，显著提高了翻译质量，其中 DTMT 在中文 - 英文翻译任务中的 BLEU 分数比 Transformer 模型提高了 2.09 分，并在 WMT14 英德、英法翻译任务上显示出优异的质量。

Dec, 2018

本文提出了一种在 Transformer 网络中显式地建模全局表示的新方法 —— 全局表示增强的 Transformer（GRET），并将其应用于机器翻译和文本摘要两个文本生成任务中，并通过实验证明其在自然语言生成方面的有效性。

Feb, 2020

本文提出了 GCDT，这是目前最大的汉语层次化语篇树库，基于修辞结构理论，覆盖五种文本类型，使用与当代英语 RST 树库相同的关系清单。通过使用中英文多语言嵌入来训练语言关系，本文还介绍了这个数据集的分析实验，包括中英文 RST 解析和在英语 GUM 数据集上的 RST 解析，其中包括最先进（SOTA）的中文 RST 解析分数。

Oct, 2022

本文介绍了一种全局归一化过渡式神经网络模型，其实现了最新的词性标注、依存分析和句子压缩结果，并探讨了全局与局部归一化的重要性。

Mar, 2016

提出了一种结合 GNN 和 Transformer 的新框架，利用 GNN 的局部信息汇聚和 Transformer 的全局信息建模能力解决过度平滑问题，构建了 GTC 体系结构，通过对跨视图信息进行自我监督的对比学习任务实现异构图形表示学习。

Mar, 2024

本研究提出一个训练框架 —— 基于置信度的双向全局上下文感知（CBBGCA），用于在神经机器翻译（NMT）中有效地利用双向全局上下文。通过对 CBBGCA 模型的多任务联合训练和基于置信度的知识蒸馏，本研究得出，该模型在三个大型翻译数据集上的 BLEU 分数均有所提高。

Feb, 2022

本文提出了 contextualized non-local neural networks (CN3) 模型，它综合了 self-attention 和 graph neural networks 两种方法的优点，能在一定范围内构建特定任务的句子结构，从而在文本分类、语义匹配和序列标注等 10 个 NLP 任务中表现优异。

Nov, 2018

本文提出了一种新颖的神经网络体系结构，该体系结构利用了双向 LSTM，CNN 和 CRF 的组合，自动地从单词和字符级别表示中受益。我们的系统是真正的端到端的，不需要特征工程或数据预处理，因此适用于广泛的序列标注任务。我们在两个数据集上对我们的系统进行了评估，即 Penn Treebank WSJ 语料库用于词性标注和 CoNLL 2003 语料库用于命名实体识别。我们在这两个数据集上获得了最先进的性能 - 词性标注的准确率为 97.55％，命名实体识别的 F1 值为 91.21％。

Mar, 2016

GITNet 提出了一种统一的位置感知多任务循环神经网络 (RNN) 架构，可以应用于多种自然语言处理任务，包括跨领域序列标记、目标导向情感注释、含有代码混合的情况下的情感分类和词性标注，实验结果表明在这些任务上都优于竞争算法。

Nov, 2018

这篇论文提出了一个结构强化的图转换器框架，包括一种循环学习范式和显式建模边缘时间状态的方法，证明在离散动态图形表示学习方面 RDGT 优于竞争方法。

Apr, 2023