ACLMay, 2021

MATE-KD: 掩码对抗性文本 —— 知识蒸馏的伴侣

PDF
TL;DR本文介绍一种名为 MATE-KD 的新型对抗训练算法，可改善知识蒸馏的性能，本文的算法在自然语言处理中的应用表现优秀，尤其在关键性能测试（GLUE benchmark）中。
natural language processingpre-trained language modelsknowledge distillationadversarial trainingglue benchmark
发现论文，激发创造
  • MixKD：大规模语言模型高效蒸馏

    提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。

    Nov, 2020

  • 文本分类的对抗自监督无数据蒸馏

    提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。

    Oct, 2020

  • 大型语言模型的对抗性矩匹配蒸馏

    通过匹配教师行为的行动 - 价值矩关系，我们提出了一种对大型语言模型进行知识蒸馏的模仿学习策略，使用对抗训练算法来同时估计行动 - 价值矩距离并优化学生模型的政策，以此最小化距离，并在任务无关和任务特定实验中取得了新的最优性能。

    Jun, 2024

  • MKD：一种预训练语言模型的多任务知识蒸馏方法

    本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

    Nov, 2019

  • BERT 无监督领域自适应的知识蒸馏

    利用 BERT 预训练语言模型，结合领域适应性方法和知识蒸馏算法，提出了一种简单而有效的无监督领域适应方法，称为对抗适应与蒸馏，在 30 个领域对跨领域情感分类的任务中取得了最先进的性能。

    Oct, 2020

  • 如何从中选择一个？一项广泛的实证研究，探讨知识蒸馏在自然语言理解中的鲁棒性

    本研究评估了各种知识蒸馏算法在域内、域外和对抗测试上的表现，并提出了一种评估多个 KD 算法对抗鲁棒性的框架，介绍了一种新的 KD 算法 Combined-KD，并证明了其在 GLUE 基准、域外泛化和对抗鲁棒性方面优于竞争方法，该方法结合了更好的训练方案和更有效的数据增强方法。

    Sep, 2021

  • Meta-KD: 跨领域语言模型压缩的元知识蒸馏框架

    利用领域间的可转移知识，我们提出了一种元知识蒸馏 (Meta-KD) 框架，将初始的深度预训练模型压缩为体积更小的单域学生模型，并在多个 NLP 任务上进行了实验验证。

    Dec, 2020

  • 元知识蒸馏

    本文提出了一种元知识蒸馏（MKD）方法，利用可学习的元温度参数进行元学习，通过适应学习目标的梯度自适应地调整元参数以解决知识蒸馏（KD）的退化问题，从而在不同数据集规模、不同网络和不同数据扩增类型上实现了与当下最优秀方法相当的性能表现。

    Feb, 2022

  • 基于伪目标训练的语言生成知识蒸馏系统研究

    研究自然语言生成（NLG）中的知识蒸馏技术优化模型并生成具体的文本任务，提出伪目标（PT）数据增强方法并应用于双方产生的多个 PT 的词级 KD，从而有效地压缩模型。

    May, 2023

  • 无数据对抗蒸馏

    该研究提出一种新的对抗蒸馏机制，用于在没有真实数据的情况下制作紧凑的学生模型，这种数据免费的方法在分类和语义分割中表现出与基于数据驱动的方法相当的性能甚至更好。

    Dec, 2019