EMNLPOct, 2020

文本分类的对抗自监督无数据蒸馏

PDF
TL;DR提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。
knowledge distillationdata-free distillationtransformer-based modelsnlp taskstext classification datasets
发现论文，激发创造
  • 无数据蒸馏：通过文本到文本迁移的语言模型

    提出了一种新的 DFKD 框架，即 DFKD-T^3，该框架将预训练的生成语言模型作为可控数据生成器用于模型压缩，实现了端到端可学习的文本转换框架，通过改善特异性和多样性提高了蒸馏性能，并在情感分析、语言可接受性和信息提取等各种下游任务中展示出卓越的性能，此外，生成的文本可直接用于蒸馏其他语言模型，超过了 SOTA 方法，在一般的 DFKD 场景中更具吸引力。

    Nov, 2023

  • 无数据对抗蒸馏

    该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

    Dec, 2019

  • 图神经网络的零数据对抗知识蒸馏

    本篇论文提出了一种基于生成对抗网络的无需真实数据的对抗知识蒸馏框架，用于图结构数据的知识蒸馏，可以有效压缩图模型并在图分类任务中取得更好的性能。

    May, 2022

  • 小规模无数据知识蒸馏

    通过使用小规模逆置数据进行知识蒸馏，提高训练效率的数据无关知识蒸馏 (SSD-KD) 方法在图像分类和语义分割基准测试中展示了超强的性能和高效的训练。

    Jun, 2024

  • BERT 无监督领域自适应的知识蒸馏

    利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020

  • 数据无关模型压缩的双判别器对抗蒸馏

    提出了一种名为 Dual Discriminator Adversarial Distillation (DDAD) 的新型无数据的知识蒸馏方法，通过生成样本，训练紧凑的学生网络，使其接近其教师网络，从而在计算机视觉任务中实现了高效的神经网络。

    Apr, 2021

  • 强制提示下的无数据知识蒸馏提升

    该研究提出 PromptDFD，一种基于提示的数据无关知识蒸馏法，利用一个预训练的生成模型提供语言先验知识，进一步提高数据合成的质量，并在蒸馏性能上取得了显著的改进。

    May, 2022

  • MATE-KD: 掩码对抗性文本 —— 知识蒸馏的伴侣

    本文介绍一种名为 MATE-KD 的新型对抗训练算法，可改善知识蒸馏的性能，本文的算法在自然语言处理中的应用表现优秀，尤其在关键性能测试（GLUE benchmark）中。

    May, 2021

  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • KDSTM：带有知识蒸馏的神经半监督主题建模

    本文提出了一种名为知识蒸馏半监督主题模型（KDSTM）的方法，该方法可以利用主题模型的无监督特征提取来完成文本分类任务，而无需预先训练。该方法具有较高的效率和准确性，相对于基于监督的分类模型更具鲁棒性。

    Jul, 2023