本研究提出 FLAT：Flat-LAttice Transformer，将复杂动态的中文命名实体识别字符 - 词格结构转换成跨度组成的平面结构，借助 Transformer 和精心设计的位置编码完全利用格子信息，具有出色的并行化能力和性能效率。在四个数据集上的实验证明，FLAT 在性能和效率方面均优于其他基于词典的模型。

Apr, 2020

本文提出一种新的词汇增强方法 InterFormer，可以有效地减少计算和内存成本。我们以 InterFormer 为主干实现 NFLAT 来进行中文命名实体识别，其解耦了词汇融合和上下文特征编码，使得内存使用减少约 50％。在多个著名基准测试中，我们通过与字符 - 词混合模型等现有模型的比较表明，该方法优于所有模型。

May, 2022

该研究提出了一种基于加权有限状态转换器和神经语言模型的混合方法，以解决文本归一化的上下文依赖性问题。

Mar, 2022

本论文通过使用基于 mBART 的句子级序列到序列模型，将自然语言处理中的标准化问题归结为机器翻译问题，利用多语言预训练技术进行 fine-tuned，优于操作原始社交媒体文本的模型，在下游任务中实现性能提升。

Oct, 2021

该论文提出了一种基于词格的循环神经网络编码器用于解决中文等没有自然词分界符的语言在神经机器翻译中遇到的问题，该编码器不仅可以缓解对分词错误的负面影响，还具有更高的表达和灵活性。实验结果表明，该编码器优于传统编码器。

Sep, 2016

提出了一种名为神经格栅语言模型的新的语言建模方法，该方法在多个层次上具有信息预测和调节的能力，并通过对可能路径的格栅进行边际化以计算序列概率或优化参数。实验证明，使用多义词嵌入的英语神经格栅语言模型能够将困惑度相对于单词层面基线提高 9.95％，而处理多字符标记的中文模型能够将困惑度相对于字符层面基线提高 20.94％。

Mar, 2018

该研究提出了一种基于外部知识库 HowNet 和 Linguistic knowledge Enhanced graph Transformer（LET）来处理汉语短文本匹配中词语歧义性问题的模型，并采用单词格子图作为输入，取得了比其他典型文本匹配方法更好的结果。消融实验结果表明，语义信息和多粒度信息都对文本匹配建模至关重要。

Feb, 2021

本文研究了一种基于格子结构的 LSTM 模型用于汉语命名实体识别，在编码一系列输入字符的同时，还编码与词典匹配的所有潜在词。与基于字符的方法相比，我们的模型明确利用了单词和单词序列信息。与基于单词的方法相比，格内 LSTM 不受分割错误的影响。门控循环单元允许我们的模型从句子中选择最相关的字符和单词以达到更好的命名实体识别结果。各种数据集上的实验表明了格内 LSTM 优于基于单词和字符的 LSTM 基线，取得了最佳结果。

May, 2018

本文提出了一种新颖的神经网络框架，利用门控组合神经网络和 LSTM 语言评分模型，消除上下文窗口，可以利用完整的分词历史，产生分布式表示，从而实现中文分词，并在基准数据集上进行实验，结果不需要使用现有方法的特征工程，获得了与现有最先进方法相当甚至更好的性能。

Jun, 2016

本文提出了一种文档展开技术（DocFlat），通过整合扁平批量注意力（FBA）和神经上下文门（NCG）到 Transformer 模型中，使其能够利用超出伪文档边界的信息，实现捕捉长距离信息，并在三个基准数据集上进行了全面实验和分析，验证了 DocFlat 及其变体的有效性，并显示出较强的性能。

Feb, 2023