Sep, 2023

CoLLD: 对比层间蒸馏用于压缩多语言预训练语音编码器

PDF
TL;DR大规模无监督预训练语音编码器优于传统方法在语音识别和翻译任务中。然而，由于开发这些大型模型的高成本，构建新的编码器用于新任务并将其部署到设备应用上是不可行的。因此，先前的研究提出了模型压缩方法来解决该问题，但这些方法主要关注较小的模型和较不现实的任务。因此，我们提出了一种新的知识蒸馏方法，即对比层间蒸馏（CoLLD），通过利用掩码预测和对比学习来训练学生模型以模仿大型教师模型的行为，从而压缩预训练语音编码器。CoLLD 在多语言语音到文本翻译和识别基准测试中优于先前的方法，缩小了小型和大型模型之间的差距。
self-supervised pre-trained speech encodersmodel compression methodscontrastive layer-to-layer distillationknowledge distillation methodmultilingual speech-to-text translation
发现论文，激发创造
  • 任务感知分层蒸馏：语言模型压缩的 “减法即增益

    本研究提出一种名为 TED 的任务感知分层蒸馏方法，通过使用任务感知滤波器，选取有用于目标任务的知识来减小知识差距，从而在学生和教师之间减小知识差距并帮助学生更好地适应目标任务，在连续预训练和微调的两种情况下，TED 都比现有的蒸馏方法表现出明显且一致的改进。

    Oct, 2022

  • 对中间表示进行对比蒸馏，用于语言模型压缩

    本研究提出了一种基于中间层对比蒸馏的知识蒸馏框架（CoDIR），通过区分正样本和大量负样本，使学生模型通过中间层更好地提取和压缩教师模型的知识，该方法在 GLUE 基准测试中表现优异。

    Sep, 2020

  • 语言模型的质量改进和压缩的共训练与共蒸馏

    知识蒸馏是一种通过将知识传递给较小的模型来压缩计算成本昂贵的预训练语言模型，从而实现在资源受限或实时环境中使用的方法。为了解决性能和推理速度同时提高的问题，我们提出了一种名为 Co-Training and Co-Distillation (CTCD) 的新框架。CTCD 框架能通过共训练两个模型并相互蒸馏知识来提高性能和推理速度。该框架通过两个重要发现成功实现了这一目标：1) 在共训练期间，将小模型的知识蒸馏给大模型可以提升大模型的性能；2) 大模型的性能提升进一步促进了小模型的性能。CTCD 框架表现出了潜力，它可以与现有技术（如架构设计或数据增强）相结合，取代单向的知识蒸馏方法，从而实现进一步的性能改进。详细的消融研究证明了 CTCD 的有效性，经 CTCD 蒸馏的小模型在 GLUE 基准测试中比原始的大模型显著提升了 1.66 个指标。

    Nov, 2023

  • 蒸馏对比解码：通过对比解码和蒸馏提高 LLMs 的推理能力

    通过使用 Distillation Contrastive Decoding（DCD）方法，我们成功提升了大型语言模型（LLM）在推理过程中的推理能力，该方法结合了 Contrastive Chain-of-thought Prompting 和先进的蒸馏技术，包括 Dropout 和 Quantization，以解决 Contrastive Decoding（CD）的局限性，增强了模型性能。

    Feb, 2024

  • Translate-Distill：通过翻译和蒸馏学习跨语言稠密检索

    该研究提出了一种名为 Translate-Distill 的方法，它利用交叉编码器或 CLIR 交叉编码器的知识蒸馏来训练双编码器 CLIR 学生模型。

    Jan, 2024

  • 对比学习的多语言表征蒸馏

    该研究加入对比学习以蒸馏多语言表示，并用于平行语句的质量估计。实验证明，该方法在不同的资源稀少语言上显著优于先前的句子编码器，诸如 LASER 等。

    Oct, 2022

  • 中间层蒸馏在压缩语言模型中的再次探讨：过拟合的角度

    本文介绍了一种名为一致性正则化的中间层知识蒸馏方法，有效解决了其他中间层知识蒸馏方法容易过拟合的问题，并在模型蒸馏方面表现高效。

    Feb, 2023

  • CILDA: 使用中间层知识蒸馏的对比数据增强

    本文提出了一种基于对比学习的知识蒸馏数据增广技术 CILDA，该技术以中间层特征匹配为基础，使用对比损失来提高蒸馏样本的质量，并在 GLUE 基准测试以及域外评估中全面超越了现有的最先进的知识蒸馏方法。

    Apr, 2022

  • 跨语种语义相似匹配的多阶段蒸馏框架

    本论文提出了一种多阶段蒸馏框架来构建小型但高性能的跨语言模型，同时结合对比学习、瓶颈和参数循环策略，解决了模型压缩过程中性能损失严重的问题，并证明该方法可以将 XLM-R 和 MiniLM 的大小压缩了 50％以上，而性能仅降低了约 1％。

    Sep, 2022

  • 图文检索的动态对比蒸馏

    本研究提出了一种名为 DCD 的新型动态对比蒸馏框架，用于压缩大型 VLP 模型以改善跨模态图像文本检索（ITR）的效率和部署，其中涉及多模态对比学习、动态蒸馏等技术，实验证明在 MS-COCO 和 Flickr30K 基准上，将 DCD 策略应用于两种最先进的视觉语言预训练模型 VILT 和 METER 可加快推断至少 129 倍。

    Jul, 2022