最近大型语言模型（LLMs）的进展引发了对推断成本的担忧，加大了对模型压缩研究的需求。尽管知识蒸馏（KD）是一种突出的方法，但对于生成性语言模型（如 LLMs）的 KD 研究相对较少，而在分类模型的 KD 中表现出有希望的学生友好知识蒸馏方法在生成性语言模型中尚未被探索。为了探索这种方法，我们提出了 PromptKD，一种简单而有效的方法，利用首次使用的提示调整方法在 KD 中实现生成性语言模型的学生友好知识转移。与需要对整个教师模型进行微调以提取学生友好知识的分类作品不同，PromptKD 通过添加少量的提示符令牌并仅调整提示来实现类似效果，并在学生的指导下进行。在使用 GPT-2 模型系列对遵循指令的数据集进行的广泛实验表明，PromptKD 实现了最先进的性能，并且仅添加了教师参数的 0.0007％作为提示。进一步的分析表明，蒸馏学生友好的知识有效地减轻了整个训练过程中的曝光偏差，从而提高了性能。

Feb, 2024

在这篇论文中，我们介绍了一种无监督域提示蒸馏框架，通过使用未标记的领域图像进行提示驱动的模仿，旨在将更大的教师模型的知识转移给轻量级目标模型。

Mar, 2024

该研究对深度学习在隐喻识别任务中的知识注入应用进行了全面的综述和总结，包括主流知识和知识注入原则、数据集、评估指标和基准模型，并探讨了当前知识注入方法面临的问题和未来研究方向。

Aug, 2023

该研究提出 PromptDFD，一种基于提示的数据无关知识蒸馏法，利用一个预训练的生成模型提供语言先验知识，进一步提高数据合成的质量，并在蒸馏性能上取得了显著的改进。

May, 2022

通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

Aug, 2023

提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

Oct, 2022

本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

本论文提出了一种基于多任务学习的方法，通过使用对对手学习进行元喻识别模型与词义消歧模型间的特征转移，从而缓解元喻识别领域中因数据量过少而导致的问题。实验表明，该方法具有很好的性能表现。

May, 2023

本文使用思维导向提示将概率模型结构引入了大型语言模型的上下文学习中，以推断潜在变量并选择合适的隐喻释义，从而改进了模型的模仿能力。

Sep, 2022

本文提出使用软提示的方法将世界知识应用到大型自然语言模型中，通过自监督学习在知识库数据上训练软提示，得到的软知识提示可以被用于提高语言模型在不同知识密集型任务中的性能。

Oct, 2022