本文介绍了如何使用变形器结构并应用群稀疏技术实现拥有较高精度、更小规模 SLU 模型的生成，从而避免使用预先训练的参数较多的大型模型。

Jun, 2022

本文针对自然语言处理中使用的 BERT 和 RoBERTa 模型进行了压缩，使用结构化剪枝和专门化蒸馏相结合的方法，实现了在保持高精度的同时速度大幅提升。

Oct, 2019

本文提出了针对神经自然语言理解模型的极端压缩技术，并在资源受限设备上进行了实验。在任务知晓的全流程压缩方法中，我们将词嵌入压缩与 NLU 任务学习相结合，经大规模商业 NU 系统测试，实现了 97.4% 的压缩率，同时预测性能下降不到 3.7%。

Nov, 2020

本研究提出了一种名为 AdaBERT 的压缩方法，利用可微分神经结构搜索自动为特定任务压缩 BERT，以达到速度和参数大小的较优权衡，并通过几个 NLP 任务的评估表明，能够保持与 BERT 相当的性能，但速度快 12.7x 到 29.3x，参数大小也小 11.5x 到 17.0x。

Jan, 2020

本论文提出了一种新的压缩策略，利用结构剪枝和知识蒸馏来减小 Conformer 模型的模型大小和推理成本，同时保持高识别性能。该方法优于所有剪枝基线，在 LibriSpeech 基准测试中实现了 50％的模型大小减少和 28％的推理成本减少，同时最小化了性能损失。

May, 2023

使用分组卷积替换自我注意层中的多个操作，提出了一种新颖的神经网络模型 SqueezeBERT，它在 Pixel 3 上运行比 BERT-base 快 4.3 倍，同时在 GLUE 测试集上取得有竞争力的准确性，从而为在移动设备中实施自然语言处理（NLP）技术提供了重要的帮助。

Jun, 2020

为解决领域特定标注样本数量过多的问题，提出了一种由对话语言建模预训练任务和轻量级编码器构成的 SLU 框架，通过预训练学习对话语言表示和解耦共享网络与映射领域特定知识的轻量级编码器实现领域适应。在内部和公共数据集上，该框架在添加少量参数的情况下与现有 SLU 方法的表现相匹配。

Oct, 2020

本研究提出了基于 CTAN（一种新型 encoder-decoder CNN-Transformer-based 结构）的自然语言理解方法，它在使用 BERT 编码器后、多个卷积层之后使用窗口特征序列重新排列输出，并在窗口特征序列之后使用堆叠的 Transformer 编码器。在意图检测解码器中，使用自我注意力和一个线性层，在填充槽解码器中，引入对齐 Transformer 解码器。结果表明我们的模型在 ATIS 和 SNIPS 中对填充槽任务超过了目前的最优。另外，研究还表明将语言模型作为单词嵌入优于将其作为编码器。

Mar, 2023

本研究提出了一种新颖的多任务语言模型压缩方法，使用剪枝方法，通过使用属性方法确定哪些神经元对于执行特定任务是必不可少的，然后对于不重要的神经元进行任务特定的修剪，进一步将该方法扩展到适用于低资源和无监督的场景。通过实验可以发现，该压缩方法不需要训练，使用少量计算资源，且不会破坏语言模型的预先训练的知识，且可以显着优于基线修剪方法，并且在未见过领域的情况下仍然保持性能。

May, 2022

本文提出两种具有辅助任务的模型，用于响应选择，并在 MultiWOZ 2.1 数据集上取得了 107.5 和 108.3 的综合分数，优于具有三倍以上的参数基线模型。

Aug, 2022