介绍了一种提高语言模型结构理解能力的方法，它通过预训练语言模型生成的结构来替代以往的基于任务数据的微调方式，并且在包含 28 个数据集的 10 个预测任务上实现了零样本迁移和超越了 21 个数据集的最新成果。

May, 2022

本论文研究了在不需要大量预训练的情况下，以结构为导向的指导是否能够使 Transformer 语言模型学习更接近人类的系统语言泛化。通过在 BLLIP 数据集上对两种新模型进行实验，研究者发现引入结构性解析的辅助训练能够提高 Transformer 语言模型在句法推理上的泛化能力。

Jul, 2021

使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

Oct, 2022

本论文提出了一种新的数据集以及语义解析方法，用于将英文句子映射为 Bash 命令，并提供了基准方法来评估此任务的性能水平。该研究的长期目标是使任何用户都能够通过简单地用英语陈述其目标来执行文件操作、搜索和特定应用程序脚本的操作。

Feb, 2018

本研究旨在评估迁移学习在增强爪哇语的依存解析中的功效。使用了包括爪哇语在内的 100 多种语言的依存树库，提出了两种学习策略：迁移学习和分层迁移学习。结果表明，我们的最佳模型采用了分层迁移学习方法，相比基准模型，UAS 和 LAS 评估指标均提高了 10%。

Jan, 2024

通过结构化感知机训练和使用大量自动解析的句子来学习神经网络表示，我们的解析器在 Penn Treebank 数据集上达到了 94.26％的未标记和 92.41％的标记附加精度，是迄今为止在 Stanford Dependencies 上最佳的精度，并提供深入的剖析分析以确定模型的哪些方面提供了最大的准确性增益。

Jun, 2015

本研究的主要目的是使一个语义解析器模型从英语语言转移到其他多种语言和领域上，通过机器翻译、释义、多语言预训练模型，我们得出一个基于 Transformer 的语义解析器，用于在德语和中文中准确解析。实验表明，机器翻译结合多组 MT 引擎释义可以近似于多种语言的训练数据，同时我们还成功地将训练数据减半，最终准确度仅低于完整翻译 2%。

Apr, 2020

本文介绍了在半监督下对自然语言句子进行解析的工作，重点是去除词汇的依赖关系解析器的多源跨语言转移。首先，评估了树库注释风格对解析性能的影响，重点是介词附着风格。然后，我们提出了 KLcpos3，一种经验性的语言相似度测量方法，专门用于多源去词汇解析器转移中源解析器加权。最后，基于训练解析器模型的插值，引入了一种新的资源组合方法。

Jun, 2015

我们提出了一种评估多语言大型语言模型在多形式语法结构方面学习句法的方法，将分析转化为序列标记，通过选择几个语言模型并在 13 个多样化的依赖解析树库和 10 个成分解析树库上研究它们，结果表明：（i）该框架在多种编码上一致，（ii）预先训练的词向量不偏好成分句法表示，而是倾向于依赖表示，（iii）子词标记化需要用于表示语法，与基于字符的模型不同，（iv）从词向量中恢复语法时，语言在预训练数据中的出现比任务数据的数量更重要。

Sep, 2023

本研究表明，通过在辅助目标中提供语言语法和训练 mBERT 以对通用依赖树结构进行编码，可提高跨语言转移，从而提高了在四项 NLP 任务中的性能表现。

Jun, 2021