Jul, 2024

uDistil-Whisper: 通过大规模伪标签进行无标签数据过滤的知识蒸馏

PDF
TL;DR该研究论文提出了一种无监督或无标签的框架来提炼 Whisper 模型，通过这种方法，在没有使用任何标记数据的情况下，使得提炼出的模型在性能上能与教师模型相媲美或更好，并且计算和内存效率相对更高。
whisperdistillationpseudo-labelsunsupervised frameworkcompute efficiency
发现论文，激发创造
  • Distil-Whisper: 大规模伪标记下的鲁棒知识蒸馏

    通过伪标注法，将较大的语音识别模型提炼为 Distil-Whisper 变体，使其在低延迟或资源有限的环境中更快速地执行，同时保持与原模型接近的性能。

    Nov, 2023

  • 大规模生成无数据蒸馏

    提出了一种新的方法，通过利用训练教师网络内在归一化层的统计信息来训练生成图像模型，从而在没有训练数据的情况下实现知识迁移、模型压缩和半监督学习，该方法在 CIFAR-10 和 CIFAR-100 数据集上表现出色，并能够将其扩展到 ImageNet 数据集。

    Dec, 2020

  • 使用未标记的例子进行加权蒸馏

    本文探讨了一种主要用于训练深度神经网络的知识蒸馏方法，其使用未标记的数据集作为输入。该方法提出了一种基于 “去偏” 方法的小网络共同训练框架，不需要超参数并且能在普遍学术数据集上展示出明显的改进效果。

    Oct, 2022

  • 鲁棒主动蒸馏

    通过游戏论的形式，提供了一种无需超参数，能够同时提供准确且充分信息的软标签，从而显著提高了现有主动学习与主动知识蒸馏方法的效果。

    Oct, 2022

  • 序列标注的编码器 - 解码器 Transformer 蒸馏

    本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。

    Feb, 2023

  • 重新审视目标检测的知识蒸馏

    该研究提出了一种基于伪标签学生模型训练和 fine-tuning 的目标检测蒸馏方法，可以实现使用未标注的数据提高模型性能，同时减少标注数据的需求，还可以用于领域自适应。实验证明该方法能够取得更好的目标检测性能。

    May, 2021

  • 用未标记的转移数据将 BERT 蒸馏为简单的神经网络

    该研究论文针对知识蒸馏在自然语言处理中预训练模型所遇到的问题，探讨利用领域内未标记的数据、有限的已标记数据和基于简单 RNN 模型的硬蒸馏方法解决师生模型间性能差异的问题。实验结果表明，使用软蒸馏和利用教师模型的中间表示，学生模型的性能可以进一步提高，而在低资源环境下，学生模型在保证与教师模型性能基本持平的情况下，可实现最多 26 倍的压缩比，针对多语言环境的扩展实验结果更是惊人。

    Oct, 2019

  • 小数据场景中高效自然语言理解的生成 - 蒸馏方法

    通过 generation-distillation 训练方法，利用大型 fine-tuned 语言模型生成无标签训练数据，通过知识蒸馏技术将这些数据的知识转移给小型网络，从而缩小了预先训练 LM 和小型特定任务模型之间的性能差距，实现了使用更少的参数（仅为 BERT 的 300 倍）达到与 BERT 可比的性能。

    Jan, 2020

  • 蒸馏逐步！用更少的训练数据和更小的模型尺寸胜过更大的语言模型

    本文介绍一种名为 “Distilling step-by-step” 的新机制，该机制通过在多任务训练框架内提取 LLM rationales 作为小型模型的附加监督来训练比 LLM 更小且表现更好的模型，并且使用远少于 finetuning 或 distillation 所需的标注数据。作者研究表明，相对于 finetuning 和 distillation，本机制使用更少的标注 / 非标注训练样例实现更好的性能；并且相对于 LLMs，使用明显更小的模型尺寸实现更好的性能；作者使用了 only 80% of available data on a benchmark task，就可以使用 770M T5 模型胜过 540B PaLM。

    May, 2023

  • 文本分类的对抗自监督无数据蒸馏

    提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。

    Oct, 2020