May, 2023

基于Sentence Embedder引导的语句编码器(SEGUE) 用于口语语言理解

TL;DR本研究采用知识蒸馏的方式,将文本句子嵌入器直接转移到wav2vec 2.0,以预训练SLU编码器。结果表明,使用配对的音频-文本数据集进行预训练可以提高SLU任务性能,但在某些任务上表现不佳。