本研究提出了一种结合 Smatch-based 集成技术和集成蒸馏的方法，克服银标注数据减少的问题，并将英语解析器的性能推向了新的水平，并在中文、德语、意大利语和西班牙语的跨语言 AMR 分析方面取得了新的最高水平。该方法对于 QALD-9 和 BioAMR 的领域自适应作用显著，能够产生与人工标注数据相匹敌的收益。

Dec, 2021

该论文介绍了一种跨语言的 AMR 解析器，该解析器通过引入双语输入和辅助任务来提高 AMR 的预测准确性，其在 Smatch F1 得分上超过了现有的最先进解析器。

Jun, 2021

本文提出一种基于蒸馏的方法来提高多语言机器翻译的准确性，并在数据集上进行了实验，结果表明该方法可以通过训练单独的模型（即老师）来训练多语言模型，这使得一个模型即可具备处理多达 44 种不同语言的能力（且其准确性与单独模型相当甚至更优）。

Feb, 2019

该研究旨在通过跨语言的 AMR 解析，使用单个模型来捕捉各种语言中句子的核心语义内容，发现用翻译加解析（T+P）的简单方法在几种语言上的表现比最新的全球最佳系统表现更好。

Jun, 2021

本文提出了一种基于注释映射的方法，通过利用一个源语言和一个源语言以及目标语言的平行语料库中的注释，针对英语作为源语言的情况，在意大利语、西班牙语、德语和中文等目标语言上训练分析器。此外，提出了一种利用英语金标注释的评估方法，这种方法不需要访问目标语言的金标注释，这是通过反转投影流程实现的。

Apr, 2017

本文探讨了训练模型可用于提高 AMR 解析性能的不同方式，包括生成合成文本和 AMR 注释以及动作预测的改进。我们证明了这些技术在没有额外的人工注释的情况下提高了一个已经高性能的解析器，并在 AMR 1.0 和 AMR 2.0 上取得了最先进的结果。

Oct, 2020

本研究聚焦于多语言实体识别，探究知识蒸馏压缩预训练语言模型的多种策略，通过利用教师模型内部表示的分阶段优化方案，成功将 MBERT 模型压缩了 35 倍参数，51 倍批量推理的延迟，同时保持在 41 种语言中的 95％的 F1 分数。

Apr, 2020

在阿拉伯语自动语音识别（ASR）方面存在独特的挑战，为了克服这些挑战，本研究采用知识蒸馏技术将大型教师模型提取为更高效的小型学生模型，引入了一份人工标注的新数据集以评估五个少见的阿拉伯方言。在现有基准测试和新的方言数据上，我们的最佳蒸馏模型整体表现优于现有模型（SeamlessM4T-large-v2，WER=47.0%）和教师模型（Whisper-large-v2，WER=55.1%），并且在新的方言数据上的平均性能（WER=56.9%）超过了所有其他模型。通过错误分析，揭示了这些模型在方言数据上表现不佳的主要错误类型。

Jun, 2024

研究多语言神经机器翻译中的灾难性遗忘问题，并提出基于知识蒸馏的生命周期学习方法，以应对其面临的问题。实验结果显示，该方法能够更好地巩固以前的知识并显著减轻问题。

Dec, 2022

在本研究中，我们提出了一种面向低资源场景的对齐方法：MAML-Align，利用基于优化的模型无关元学习器 MAML 进行元蒸馏学习，从面向单语和双语语义搜索的 Teacher 元迁移模型 T-MAML 中提取知识，再将其转移到面向多语言语义搜索的 Student 模型 S-MAML 中。我们的实证结果表明，相对于朴素微调方法，我们的元蒸馏方法不仅提升了基于句子转换器的强基线的效果，而且显著超过了 MAML 所提供的增益。此外，多语言元蒸馏学习还提高了对未知语言的泛化能力。

Sep, 2023