这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。
Apr, 2017
本文提出了一种从结构输入到结构输出的端到端翻译架构，其中联合建模和生成目标翻译及其相应的句法图。我们设计了一个自适应动态时空图卷积解码器（Dyn-STGCD），它可以消费源功能表示及其句法图，并同时自回归生成目标句法图和令牌。我们在五个广泛认可的翻译基准测试中进行了大量实验，验证了我们的提议相对于基线和其他语法感知变体的一致改进。
May, 2023
基于符号的知识图谱、语言模型和评估指标对知识图谱的拓扑属性和语义属性进行了详尽的评估，发现语言模型在提取符号知识方面能力受到限制。
Aug, 2023
通过图注意力模型与 BERT 共同表示源语言的句法依赖特征，以丰富源语言的表示并指导目标语言生成，提出了用 SGB 在机器翻译中获取句法知识。这个模型的实验显示，在不损失 BLEU 得分的情况下，可以提高翻译质量，同时探索了句子长度对此的影响以及 GAT 识别的依赖关系。
本文讨论了使用动态子图和图形神经网络在上下文中交互地将用户话语映射为可执行的逻辑形式，并证明这种方法在处理对话信息方面更好。
该研究提出了 COMPSITION 模型，它是 Seq2Seq 模型的一个扩展，旨在通过引入一个复合层来适当地学习不同编码器层的表示，以生成传递到不同解码器层的不同键和值，从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。
Transformer Grammars 是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立于组合句法表示的不同类型的记忆机制在当前成功的模型中发挥了重要作用。
Mar, 2022
本文探讨了语言图表示在理论上能否 complement 并提高神经语言建模的能力。通过集成一个预训练的 Transformer 和七种不同形式主义的 ground-truth 图，研究发现，总体而言，语义组成结构对于语言建模的性能最有用，超越了句法组成结构以及句法和语义依存关系结构。此外，这种效应在不同的词性类别中差异很大。总之，我们的研究结果为神经符号语言建模带来了有前途的倾向，并邀请未来研究 quantifying 不同形式主义所做的设计选择。
Dec, 2021
本文提出了使用句法图来表示三种句法信息（单词顺序，依赖关系和从属关系）的方法，并使用图到序列模型对句法图进行编码和解码逻辑形式。基准数据集上的实验结果表明，该模型与 Jobs640、ATIS 和 Geo880 的最新研究成果相当。对抗示例上的实验结果表明，通过编码更多的句法信息，该模型的鲁棒性也得到了提高。
Aug, 2018
本文提出了一种名为 CKG 的动态表示方法，利用外部知识图谱中的实体信息来提高语言句子的正确语义，实验表明，CKG 在多项任务中达到了最优结果。
Dec, 2022