Nov, 2023

无数据蒸馏：通过文本到文本迁移的语言模型

PDF
TL;DR提出了一种新的 DFKD 框架，即 DFKD-T^3，该框架将预训练的生成语言模型作为可控数据生成器用于模型压缩，实现了端到端可学习的文本转换框架，通过改善特异性和多样性提高了蒸馏性能，并在情感分析、语言可接受性和信息提取等各种下游任务中展示出卓越的性能，此外，生成的文本可直接用于蒸馏其他语言模型，超过了 SOTA 方法，在一般的 DFKD 场景中更具吸引力。
data-free knowledge distillationdfkd-t^3generative language modelingmodel compressiondistillation performance
发现论文，激发创造
  • 文本分类的对抗自监督无数据蒸馏

    提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。

    Oct, 2020

  • 强制提示下的无数据知识蒸馏提升

    该研究提出 PromptDFD，一种基于提示的数据无关知识蒸馏法，利用一个预训练的生成模型提供语言先验知识，进一步提高数据合成的质量，并在蒸馏性能上取得了显著的改进。

    May, 2022

  • 数据无关的去卷积知识蒸馏处理分布转移

    数据无关知识蒸馏是训练高性能小模型以增强实际部署的有希望的任务，本文提出了一种新颖的因果推断视角来解决在 DFKD 任务中的严重分布偏移问题，并设计了一种基于反向调整的知识蒸馏因果干预框架（KDCI），实验证明了其有效性。

    Mar, 2024

  • 无数据知识蒸馏用于细粒度视觉分类

    我们提出了一种名为 DFKD-FGVC 的方法，它扩展了 DFKD 到细粒度视觉分类任务，使用了对抗蒸馏框架、注意力生成器、混合高阶注意力蒸馏和语义特征对比学习，以实现更好的性能表现。

    Apr, 2024

  • 采样与蒸馏：开放世界数据的知识迁移

    提出了一种名为数据无关知识蒸馏（DFKD）的新任务，旨在使用仅带有原始训练数据的教师网络训练高性能学生模型。通过自适应采样模块对接近原始数据分布的开放世界数据进行采样，引入低噪声表示以减轻领域漂移并建立多个数据示例的结构化关系来开发数据知识。在 CIFAR-10、CIFAR-100、NYUv2 和 ImageNet 等广泛实验中，我们的 ODSD 方法实现了最先进的性能，在 ImageNet 数据集上与现有结果相比，准确率提高了 1.50％-9.59％。

    Jul, 2023

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • Meta-KD: 跨领域语言模型压缩的元知识蒸馏框架

    利用领域间的可转移知识，我们提出了一种元知识蒸馏 (Meta-KD) 框架，将初始的深度预训练模型压缩为体积更小的单域学生模型，并在多个 NLP 任务上进行了实验验证。

    Dec, 2020

  • DiLM：文本级数据集蒸馏中的将数据集蒸馏为语言模型

    通过训练一个语言模型生成信息丰富的合成训练样本作为文本数据，我们提出了一种新颖的文本数据集精炼方法，称为 Distilling dataset into Language Model (DiLM)。我们在各种文本分类数据集上评估了 DiLM，并展示了从 DiLM 中获得的合成数据集胜过当前核心集选择方法的结果。DiLM 在训练不同类型的模型和大型语言模型的上下文学习中取得了显著的泛化性能。

    Mar, 2024

  • 宽容专家的教师：与教师无关的无数据知识蒸馏

    无数据知识蒸馏方法 (TA-DFKD）通过为生成器分配宽松的专家角色，而非严格的监督者角色，以更健壮和稳定的性能，实现了在各种教师模型下的蒸馏，并超越了现有的无数据知识蒸馏方法。

    Feb, 2024

  • 大型语言模型的知识蒸馏调查

    知识蒸馏（KD）机制在大型语言模型（LLM）中起着关键作用，将专有的 GPT-4 等模型的先进功能和细腻理解传输到像 LLaMA 和 Mistral 这样的开源模型。此次调查详细讨论了 KD 机制、特定认知能力增强以及其在不同领域的实际应用，展示了数据增广（DA）和 KD 之间的相互关系，旨在弥合专有和开源 LLM 之间的差距，促进更具可访问性、高效性和可持续性的人工智能解决方案。

    Feb, 2024