该论文提出了一种基于词格的循环神经网络编码器用于解决中文等没有自然词分界符的语言在神经机器翻译中遇到的问题，该编码器不仅可以缓解对分词错误的负面影响，还具有更高的表达和灵活性。实验结果表明，该编码器优于传统编码器。

Sep, 2016

本文研究了一种基于格子结构的 LSTM 模型用于汉语命名实体识别，在编码一系列输入字符的同时，还编码与词典匹配的所有潜在词。与基于字符的方法相比，我们的模型明确利用了单词和单词序列信息。与基于单词的方法相比，格内 LSTM 不受分割错误的影响。门控循环单元允许我们的模型从句子中选择最相关的字符和单词以达到更好的命名实体识别结果。各种数据集上的实验表明了格内 LSTM 优于基于单词和字符的 LSTM 基线，取得了最佳结果。

May, 2018

研究使用基于树结构的神经网络模型作为编码器建立语音翻译模型，使用词汇图来代替输入，可以提高翻译准确性。

Apr, 2017

本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

Apr, 2021

该研究提出了一种新的中文预训练模型 Lattice-BERT，使用字符和词语来构建格状结构，实现了多粒度的文本建模，在 11 个中文自然语言理解任务中取得了 1.5% 的平均增益，并在 CLUE 基准测试中达到了新的最优表现。

Apr, 2021

本文旨在将语言模型预训练方法推广到语音识别产生的 'lattice' 上。通过提出具有两阶段预训练的神经网络 lattice 语言模型，此研究在意图检测和对话行为识别数据集上证明了其在处理口语输入任务中的优势。

Jul, 2020

本研究通过定义词汇表上的一组概率分布，动态地计算这些分布上的混合权重，演示如何将基于计数的 n-gram 模型与神经 LM 结合在单个模型框架中，从而创建新颖的混合模型，并证明这些方法的优势。

Jun, 2016

本文提出了一种方法来增强神经网络语言模型的归纳偏好，即通过将简单的函数结合到神经体系结构中形成分层神经符号语言模型，进而显著降低小语料库语言建模的困惑度，并证明其表现提高在更大的语料库中也会持续提升。

Dec, 2019

本论文通过对现有 LSTMs 和 QRNNs 语言模型的扩展，提高了对大型语料库的处理能力，并在字符级（Penn Treebank，enwik8）和单词级（WikiText-103）数据集上分别取得了最新的最高水平结果，而且只用了一台现代 GPU，最快只需 12 小时（WikiText-103）或 2 天（enwik8）即可。

Mar, 2018

本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

Apr, 2016