Oct, 2020
适应风格的预训练和参数高效微调用于口语理解
Style Attuned Pre-training and Parameter Efficient Fine-tuning for Spoken Language Understanding
Jin Cao, Jun Wang, Wael Hamza, Kelly Vanee, Shang-Wen Li
TL;DR为解决领域特定标注样本数量过多的问题,提出了一种由对话语言建模预训练任务和轻量级编码器构成的 SLU 框架,通过预训练学习对话语言表示和解耦共享网络与映射领域特定知识的轻量级编码器实现领域适应。在内部和公共数据集上,该框架在添加少量参数的情况下与现有 SLU 方法的表现相匹配。