端到端逐步增量式语音理解的序列级知识蒸馏

May, 2023

端到端逐步增量式语音理解的序列级知识蒸馏

Sequence-Level Knowledge Distillation for Class-Incremental End-to-End Spoken Language Understanding

Umberto Cappellazzo, Muqiao Yang, Daniele Falavigna, Alessio Brutti

TL;DR该研究提出了三种知识蒸馏方法，通过应用于声音编码器 (audio-KD) 和解码器 (tok-KD 和 seq-KD) 以解决神经网络在非稳态环境下学习新概念的问题，特别应用于连续学习等领域的口语理解问题。结果表明，seq-KD 可以显著提高性能，并与 audio-KD 的结合进一步降低了平均 WER 并增强了实体预测指标。

Abstract

The ability to learn new concepts sequentially is a major weakness for modern neural networks, which hinders their use in non-stationary environments. Their propensity to fit the current data distribution to the detriment of the past acquired knowledge leads to the catastrophic forgett

neural networks continual learning knowledge distillation sequence-to-sequence spoken language understanding

发现论文，激发创造

将序列级知识蒸馏解释为神经机器翻译中的数据增强

使用序列级知识蒸馏技术在数据增强和正则化的前提下训练较小的机器翻译模型，可实现类似于基准 SLKD 的结果，并显著提高 BLEU 分数。

Dec, 2019

语义分割中的增量学习知识蒸馏

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

多阶段均衡蒸馏：解决序列级知识蒸馏中的长尾挑战

大语言模型（LLMs）在各种自然语言处理任务中有了显著的进展，但部署仍然需要大量的计算资源。我们介绍了一种名为 Multi-Stage Balanced Distillation（BalDistill）的框架，通过在固定的计算资源预算内动态选择代表性的正样本和合成尾部样本，平衡训练数据，并在各种长尾数据集上取得了最先进的性能，提高了蒸馏模型的效率和效果。

Jun, 2024

将解码与知识蒸馏并行进行：从语言模型到端到端语音识别的有效知识蒸馏

通过使用中间层和最终层，本研究提出了一种将 BERT 教师模型的知识蒸馏到自动语音识别模型中的新方法。实验证明，使用中间层作为蒸馏目标可以更有效地将语言模型知识蒸馏到较低的网络层，从而实现比外部语言模型的浅层融合更好的识别准确性，同时保持了快速并行解码。

Jan, 2024

BLSP-KD：通过知识蒸馏引导语言 - 语音预训练

通过知识蒸馏，BLSP-KD 通过两个关键技术来优化语音 - 文本对齐质量，实现细粒度对齐，同时还引入了 LLM 的适应方法 PLoRA，通过定量评估说明了 BLSP-KD 在扩展 LLMs 到口语交互方面的优势。

May, 2024

M2KD: 多模型、多层次知识蒸馏用于增量学习

本文提出一种多模型和多级别知识蒸馏策略，通过直接利用之前的模型快照和辅助蒸馏等方式，在保留旧类知识的同时提升整体性能，有效解决了旧类性能下降的问题。

Apr, 2019

终身语言知识蒸馏

提出了一种名为 Lifelong Language Knowledge Distillation（L2KD）的方法来解决流式任务（stream of different tasks） LLL 中的性能降低问题，通过一个教师模型来将新任务的知识通过知识蒸馏的方式传递给现有的 LLL 模型，从而使得 LLL 模型可以更好地适应新任务，同时保留先前学习到的知识。该方法的实验证明，L2KD 在 LLL 任务的顺序生成和文本分类方面比之前的最先进模型有着不俗的表现，并且在与 multi-task 模型性能对比方面，L2KD 均获得了显著提升。

Oct, 2020

使用知识蒸馏的可扩展语法感知语言模型

利用知识蒸馏技术将小型语法语言模型的知识传递到 LSTM 语言模型，从而使 LSTM 对更大的训练数据开发出更具结构感知性的表示方式。在针对语法的评估中，我们发现，尽管顺序 LSTM 比以前的报告要好得多，但我们提出的技术显著改善了这个基准值，产生了新的最佳成果。我们的发现和分析确认了结构上的偏差的重要性，甚至是在从大量数据中学习的模型中也如此。

Jun, 2019

从非流式 ASR 编码器到流式 ASR 编码器的知识蒸馏，使用辅助非流式层

为了提高流式自动语音识别的性能，本文提出了一种从非流式模型到流式模型的逐层知识蒸馏方法，并通过自动回归预测编码机制鼓励流式模型预测未见的未来语境，实验证明该方法能显著降低错误率。

Aug, 2023

适应性特征融合的知识蒸馏分类增量学习

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022