利用知识蒸馏技术将小型语法语言模型的知识传递到 LSTM 语言模型，从而使 LSTM 对更大的训练数据开发出更具结构感知性的表示方式。在针对语法的评估中，我们发现，尽管顺序 LSTM 比以前的报告要好得多，但我们提出的技术显著改善了这个基准值，产生了新的最佳成果。我们的发现和分析确认了结构上的偏差的重要性，甚至是在从大量数据中学习的模型中也如此。

Jun, 2019

本文研究了文本表示学习器在句法表现上的优越性和在自然语言句法中的应用，提出了将句法模型的预测注入 BERT 的知识蒸馏策略，并表明在一系列结构预测任务中，这种方法能够显著地减少相对误差。

May, 2020

本文介绍了一种将多个模型组成的模型集合体及其概率输出 match 到参考状态和使用模型集合体探索搜索空间，通过实验表明，这种蒸馏（distillation）方式可以有效提高模型性能，比之前的模型都表现良好。

May, 2018

本研究采用多任务学习方法，通过预测单词和语法距离（即基于真实解析树的距离值）的方式，相互共享中间表示，以有效且高效地融入句法结构于神经语言模型中， 实验表明，提供基于真实解析树的训练信号，能够降低困惑度并生成更好的语法树。

May, 2020

该论文介绍了一种利用二进制语法树和 Tree-LSTM 组成的神经网络，可在自然语言图表解析器的帮助下同时优化组成函数和解析器，进而实现无监督的树形 RNN，并在文本蕴涵任务和反向字典任务中表现优越。

May, 2017

该文提出了一种简单有效的方法，通过局部匹配所有子结构的预测结果而非整个输出空间，将知识从教师模型传递给其学生模型，较之现有方法在训练效率方面相对更高，并鼓励学生模型更好地模拟教师模型的内部行为。该方法在两个结构化预测任务上的实验表明，可以胜过先前的方法并且减少一个训练周期的时间成本。

Mar, 2022

本文讲述了如何通过自动生成语义不同但结果相似的句子组集来学习一种转换，以去除词法语义但保留结构信息，并证明这种方法在结构聚类方面的效果优于词汇语义聚类方法，最终在少样本解析任务中优于原始上下文化语言表示。

Oct, 2020

我们研究了无监督的成分句法分析任务，该任务将句子中的单词和短语组织成层次结构，而不使用语言学注释数据。我们观察到现有的无监督解析器捕捉了句法结构的不同方面，可以利用这些方面来提高无监督解析的性能。为此，我们提出了 “树平均” 方法，并进一步提出了一种新颖的无监督解析集成方法。为了提高推理效率，我们将集成的知识进一步融入到一个学生模型中；这种先集成后蒸馏的过程是缓解常见多老师蒸馏方法中存在的过度平滑问题的一种有效方法。实验证明，我们的方法超过了所有先前的方法，始终表现出其在各种运行，不同的集成组件和领域转移条件下的有效性和鲁棒性。

Oct, 2023

本研究探讨了一种 Knowledge Distillation 的新方法，即从神经网络和词汇知识库中提取语言信息，以提供大规模模型的高效替代方案，并提出了两种基于多个 teacher networks 预测权重的技术以及一种用于词义消歧的方法，并发现使用本文中的词汇预训练方法可在不增加参数的情况下提高自然语言理解任务 (NLU) 的性能，同时在 Plagiarism Detection 方面也有了更好的表现。

Jan, 2023

该论文探究了加入不同语言结构对神经机器翻译性能的影响，提出了一种能够自然生成目标端任意树形结构的神经机器翻译模型，并且发现无需任何语言知识构造的平衡二叉树结构具有最佳的性能提升，能够超过标准的 seq2seq 模型和其他引入目标端语法的方法，提高 2.1 个 BLEU 分数。

Aug, 2018