本文研究了一种基于格子结构的 LSTM 模型用于汉语命名实体识别，在编码一系列输入字符的同时，还编码与词典匹配的所有潜在词。与基于字符的方法相比，我们的模型明确利用了单词和单词序列信息。与基于单词的方法相比，格内 LSTM 不受分割错误的影响。门控循环单元允许我们的模型从句子中选择最相关的字符和单词以达到更好的命名实体识别结果。各种数据集上的实验表明了格内 LSTM 优于基于单词和字符的 LSTM 基线，取得了最佳结果。

May, 2018

本文提出了一种可加强 GPU 并行性和计算批处理的具有孔状结构的基于两个非邻近标记共用枢轴节点的自注注意力的基于格子的变压器编码器，并在四个数据集上进行了实验。结果表明，该模型的性能与最先进的模型大致相当，但速度最多快 9.47 倍。

Nov, 2019

提出了一种名为神经格栅语言模型的新的语言建模方法，该方法在多个层次上具有信息预测和调节的能力，并通过对可能路径的格栅进行边际化以计算序列概率或优化参数。实验证明，使用多义词嵌入的英语神经格栅语言模型能够将困惑度相对于单词层面基线提高 9.95％，而处理多字符标记的中文模型能够将困惑度相对于字符层面基线提高 20.94％。

Mar, 2018

本文提出了一种混合粒度的中文 BERT 模型（MigBERT），通过同时考虑字符和词来学习其特征表示，并在各种中文 NLP 任务上进行了广泛的实验以评估现有的 PLMs 以及所提出的 MigBERT，实验结果表明，MigBERT 在所有这些任务中都实现了新的最佳表现，MigBERT 还能与日语一起使用。

Mar, 2023

本文提出一种新的预训练语言模型 AMBERT，结合了精细的细粒度和粗粒度的分词方法，取得了比 BERT 更好的性能，特别是在汉语中表现更显著。此外，我们还开发了一种方法，用于提高 AMBERT 推理的效率，其仍然比 BERT 在同样计算成本下表现更好。

Aug, 2020

文章提出了一种新的以词为基本单元的对齐注意力方法，用于解决原有以字符为基本单元的中文预训练模型无法充分利用词义信息的问题，并通过多源信息融合的方式解决了分词误差传递的潜在问题，实验结果表明该模型对于五种中文 NLP 基准任务能够带来显著提升。

Nov, 2019

本研究提出了一种基于 lattice transformer 和 controllable lattice attention mechanism 的机器翻译方法，其应用于语音翻译任务时，在多条路径和后验分数的支持下，可以更好地泛化并取得更好的翻译结果。同时，在应用于 WMT 2017 中英翻译任务时，也可以取得优于基线的成果。

Jun, 2019

本文提出一种名为 LICHEE 的简单而有效的预训练方法，旨在高效地融合输入文本的多粒度信息，以提高各种预先训练的语言模型的表示能力。实验结果表明，我们的方法在广泛的 NLU 任务中取得了全面的改进，并且我们的最佳集成模型在 CLUE 基准大赛上达到了最先进的性能。

Aug, 2021

通过将词库整合到字符级序列中，我们提出了一种统一的格点图融合（ULGF）方法，用于中文命名实体识别。ULGF 可以明确捕捉字符 - 词语空间中细粒度语义单元之间的各种语义和边界关系，通过将格点结构转换为统一的图形来实现。我们堆叠多个基于图形的源内自我关注和源间交叉门控融合层，以迭代地进行语义交互以学习节点表示。为了减轻对词语信息的过度依赖，我们进一步提出了以词库实体分类作为辅助任务。在四个中文命名实体识别基准数据集上的实验证明了我们 ULGF 方法的优越性。

Dec, 2023

本研究提出 FLAT：Flat-LAttice Transformer，将复杂动态的中文命名实体识别字符 - 词格结构转换成跨度组成的平面结构，借助 Transformer 和精心设计的位置编码完全利用格子信息，具有出色的并行化能力和性能效率。在四个数据集上的实验证明，FLAT 在性能和效率方面均优于其他基于词典的模型。

Apr, 2020