研究使用基于树结构的神经网络模型作为编码器建立语音翻译模型，使用词汇图来代替输入，可以提高翻译准确性。
Apr, 2017
本研究提出了一种基于 lattice transformer 和 controllable lattice attention mechanism 的机器翻译方法，其应用于语音翻译任务时，在多条路径和后验分数的支持下，可以更好地泛化并取得更好的翻译结果。同时，在应用于 WMT 2017 中英翻译任务时，也可以取得优于基线的成果。
Jun, 2019
本篇论文旨在将 Transformer 预训练模型适应于格输入以执行口语理解任务，并在 ATIS 基准数据集上进行了实验，结果表明，将预训练的 Transformers fine-tuning 用于格输入比用于 1-best 结果有了显著改进，证明了方法的有效性。
Nov, 2020
提出了一种名为神经格栅语言模型的新的语言建模方法，该方法在多个层次上具有信息预测和调节的能力，并通过对可能路径的格栅进行边际化以计算序列概率或优化参数。实验证明，使用多义词嵌入的英语神经格栅语言模型能够将困惑度相对于单词层面基线提高 9.95％，而处理多字符标记的中文模型能够将困惑度相对于字符层面基线提高 20.94％。
Mar, 2018
本篇论文探讨如何应用自注意力机制解决计算复杂度、模型稳定性和位置信息等问题，相比于 LSTM 模型，该模型不仅运算时间更快，而且更具可解释性。
本文提出了一种可加强 GPU 并行性和计算批处理的具有孔状结构的基于两个非邻近标记共用枢轴节点的自注注意力的基于格子的变压器编码器，并在四个数据集上进行了实验。结果表明，该模型的性能与最先进的模型大致相当，但速度最多快 9.47 倍。
Nov, 2019
本文旨在将语言模型预训练方法推广到语音识别产生的 'lattice' 上。通过提出具有两阶段预训练的神经网络 lattice 语言模型，此研究在意图检测和对话行为识别数据集上证明了其在处理口语输入任务中的优势。
Jul, 2020
该论文提出了一种基于词格的循环神经网络编码器用于解决中文等没有自然词分界符的语言在神经机器翻译中遇到的问题，该编码器不仅可以缓解对分词错误的负面影响，还具有更高的表达和灵活性。实验结果表明，该编码器优于传统编码器。
Sep, 2016
提出一种通过测度论来构建数学等价模型来填补对自注意力理论认知空白的框架，在此模型中，自注意力被解释为一种自相互作用粒子系统，从最大熵角度照亮自注意力，证明注意力在适当的假设下实际上是 Lipschitz 连续的。
通过对注意力机制中稀疏性的理论分析，揭示了注意力分数稀疏性的内在特性及其对计算效率的影响，并为优化大型语言模型的计算框架提供了一个理论检验，为更可扩展和高效的人工智能系统铺平了道路。
Apr, 2024