EMNLPSep, 2020

对中间表示进行对比蒸馏，用于语言模型压缩

PDF
TL;DR本研究提出了一种基于中间层对比蒸馏的知识蒸馏框架（CoDIR），通过区分正样本和大量负样本，使学生模型通过中间层更好地提取和压缩教师模型的知识，该方法在 GLUE 基准测试中表现优异。
language model compressionknowledge distillationintermediate layerscontrastive objectiveglue benchmark
发现论文，激发创造
  • Wasserstein 对比表示蒸馏

    本文提出了一种融合 Wasserstein 距离和对比学习的知识蒸馏方法 WCoRD，可以在压缩模型和跨模态迁移等任务上超越现有的方法。

    Dec, 2020

  • 互补关系对比蒸馏

    本研究提出一种基于对比关系的知识蒸馏方法 CRCD，通过建立标定点并计算学生和教师关系的差异，有效地将结构性知识从教师模型转移到学生模型中，从而同时蒸馏出样本表示和样本之间的关系。实验证明了该方法的有效性。

    Mar, 2021

  • 知识蒸馏的视觉语言模型压缩

    本文提出 VL distillation，使用知识蒸馏方法将基于 transformer 的大型 VL 模型压缩成小型 VL 模型，以提高图像字幕生成和视觉问答任务中的性能。

    Apr, 2021

  • CoLLD: 对比层间蒸馏用于压缩多语言预训练语音编码器

    大规模无监督预训练语音编码器优于传统方法在语音识别和翻译任务中。然而，由于开发这些大型模型的高成本，构建新的编码器用于新任务并将其部署到设备应用上是不可行的。因此，先前的研究提出了模型压缩方法来解决该问题，但这些方法主要关注较小的模型和较不现实的任务。因此，我们提出了一种新的知识蒸馏方法，即对比层间蒸馏（CoLLD），通过利用掩码预测和对比学习来训练学生模型以模仿大型教师模型的行为，从而压缩预训练语音编码器。CoLLD 在多语言语音到文本翻译和识别基准测试中优于先前的方法，缩小了小型和大型模型之间的差距。

    Sep, 2023

  • 对比表示蒸馏

    通过对比学习的方式训练学生网络来实现更好的知识迁移，相比知识蒸馏等传统方法在单模型压缩、集成蒸馏和跨模态迁移等多种任务中表现更优，甚至在与知识蒸馏相结合时可以超越教师网络，这一方法在许多知识迁移任务中达到了最新的最佳表现。

    Oct, 2019

  • 语言模型压缩中的语言上下文提取

    本文提出了一种新的语言表示学习的知识蒸馏方法，通过单词关系和层变换关系传递上下文知识，无需限制教师和学生的架构变化，验证了该方法在语言理解任务的各种架构和 DynaBERT 等自适应尺寸剪枝方法的挑战性基准上的有效性。

    Sep, 2021

  • CILDA: 使用中间层知识蒸馏的对比数据增强

    本文提出了一种基于对比学习的知识蒸馏数据增广技术 CILDA，该技术以中间层特征匹配为基础，使用对比损失来提高蒸馏样本的质量，并在 GLUE 基准测试以及域外评估中全面超越了现有的最先进的知识蒸馏方法。

    Apr, 2022

  • 语言模型的质量改进和压缩的共训练与共蒸馏

    知识蒸馏是一种通过将知识传递给较小的模型来压缩计算成本昂贵的预训练语言模型，从而实现在资源受限或实时环境中使用的方法。为了解决性能和推理速度同时提高的问题，我们提出了一种名为 Co-Training and Co-Distillation (CTCD) 的新框架。CTCD 框架能通过共训练两个模型并相互蒸馏知识来提高性能和推理速度。该框架通过两个重要发现成功实现了这一目标：1) 在共训练期间，将小模型的知识蒸馏给大模型可以提升大模型的性能；2) 大模型的性能提升进一步促进了小模型的性能。CTCD 框架表现出了潜力，它可以与现有技术（如架构设计或数据增强）相结合，取代单向的知识蒸馏方法，从而实现进一步的性能改进。详细的消融研究证明了 CTCD 的有效性，经 CTCD 蒸馏的小模型在 GLUE 基准测试中比原始的大模型显著提升了 1.66 个指标。

    Nov, 2023

  • 中间层蒸馏在压缩语言模型中的再次探讨：过拟合的角度

    本文介绍了一种名为一致性正则化的中间层知识蒸馏方法，有效解决了其他中间层知识蒸馏方法容易过拟合的问题，并在模型蒸馏方面表现高效。

    Feb, 2023

  • 对比学习的多语言表征蒸馏

    该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

    Oct, 2022