使用大规模预训练结构转换器的句法语言模型（SLM），通过从头开始在原始文本上进行高并行度的无监督训练，弥补了以前的 SLM 存在的限制，如依赖于黄金树和顺序训练。同时，我们介绍了一个表示替代方法，以在硬 EM 方式下联合并行训练模型，证明了 Generative Pretrained Structured Transformers（GPST）在语言理解和语言生成等多个任务中相比 GPT-2 具有可比大小时的优越性，同时在左到右语法归纳方面也显著优于现有的无监督 SLM，并具有训练加速的优势。

Mar, 2024

本文提出了一种名为 Syntax-BERT 的新型框架，它可以有效地并高效地将句法树结构融入到基于 Transformer 的任何预训练模型中，并在多个先前的预训练模型上取得了稳定的性能提升，进一步证明了句法信息在 NLP 任务中的重要性。

Mar, 2021

本论文研究了通过将句法信息与深度学习模型相结合，提高自然语言处理任务的性能表现，对多特征的语法 - Transformer 进行了测试，发现在完整数据集和部分数据集中，BLEU 得分都有明显提升，同时，在 GLUE 基准测试中，语法嵌入的 BERT 微调在几个下游任务中表现优于基线。

Nov, 2019

本文介绍了一种简单的方法，通过翻译成线性化的、词汇化的组成树来融合有关目标语言的语法信息，实验结果表明，与同一数据集上训练的语法无关的神经机器翻译系统相比，WMT16 德英新闻翻译任务的 BLEU 评分得到了明显提升。对语法感知系统的翻译进行分析后发现，它在翻译过程中进行了更多的重排。小规模人类评估也表明了语法感知系统的优势。

Apr, 2017

通过使用大型语言模型 (LLMs) 生成并优化机器人任务计划，该研究提出了一种创新方法，解决了 LLMs 输出中潜在的不确定性和错误步骤的问题，进而改善了计划的准确性和执行效率。

Jan, 2024

本文介绍了潜在树语言模型（LTLM），该模型将给定句子的语法和语义编码为单词角色树。将 LTLM 与 4 元修改 Kneser-Ney 语言模型相结合，通过线性插值，在英语和捷克语语料库中的实验表明，与独立的 4 元修改 Kneser-Ney 语言模型相比，明显降低了困惑度（英语最高降低 46％，捷克语最高降低 49％）

Jul, 2016

本文提出了一种基于大型语言模型（LLM）的创新方法，解决了自动生成复杂任务的行为树（BT）的挑战性任务。该方法利用 LLMs 的鲁棒表达和推理能力，设计了一个基于 LLM 的 BT 生成框架，通过数据合成、模型训练、应用开发和数据验证的全过程，大幅提高了 BT 生成模型的性能，并引入多级验证策略确保生成的 BT 的有效性和可执行性。

Jan, 2024

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020

该论文介绍了一种新颖的框架 Tree-GPT，将大型语言模型（LLMs）整合到森林遥感数据工作流中，从而提高数据分析的效率。通过整合图像理解模块、领域知识库和工具链，使 LLMs 能够理解图像、获取准确的知识、生成代码和在本地环境中执行数据分析。该系统在搜索、可视化和机器学习分析等多个任务上表现良好，展示了 LLMs 在森林研究和环境科学中的潜力。

Oct, 2023

Transformer Grammars 是一种新颖的语言模型，通过特殊的注意力掩码和确定性转换实现递归句法组合，提高了句子级别和句法敏感的语言建模性能，在长文本建模中，递归的句法组合对表示整个句子向量造成了瓶颈并影响了逼近度，表明一个独立于组合句法表示的不同类型的记忆机制在当前成功的模型中发挥了重要作用。

Mar, 2022