ACLMar, 2022

通过同态投影蒸馏压缩句子表示以用于语义检索

PDF
TL;DR这篇研究提出了 Homomorphic Projective Distillation（HPD）方法来学习压缩的句子嵌入，通过增加可学习的投影层来模拟大型预训练语言模型并保留句子表示质量。作者通过不同大小的模型对语义文本相似性（STS）和语义检索（SR）任务进行了评估，实验结果表明，相比于相同大小的最佳表示方法，该方法在 STS 任务上实现了 2.7-4.5 个性能提升，在 SR 任务上，该方法相比于最先进的大型模型，提高了检索速度（8.2 倍）和内存使用（8.0 倍）。
发现论文，激发创造
  • 最大编码率缩减下的句子表示压缩

    本文介绍了一种使用 MCR2 目标学习额外的投影层来研究句子表示模型 Sentence-BERT 的模型蒸馏方法，新模型具有更低的复杂性和句子嵌入大小，可在语义检索基准上实现可比较的结果。

    Apr, 2023

  • 句向量排序模型的极端压缩：在边缘设备上实现更快的推理、更长的电池续航和更少的存储

    本篇研究提出了在两种不同类型的 ranker 模型上扩展句子转换蒸馏过程的两种方法，包括生成最优尺寸的词汇表和在蒸馏之前对教师的嵌入维数进行降维。结果表明，采用这些扩展技术的学生模型具有极大的压缩程度，而且在测试数据集上表现出高度的有效性和能用性。

    Jun, 2022

  • 压缩转换器语言模型的任务无关蒸馏方法的比较分析

    通过多项实验研究，我们发现基于 MiniLMv2 的 Multi-Head Attention 转移是蒸馏中更优选的方法，并解释了其成功的可能原因。此外，我们还发现基于 Hidden State 转移的方法在精妙的层映射策略下依然是竞争性的基准，而 Output Distribution 转移一直落后于其他方法。研究结果帮助我们为延迟关键应用部署高效且有效的学生模型。

    Oct, 2023

  • HRKD: 层次化关系知识蒸馏用于跨领域语言模型压缩

    本研究采用层次化关系知识蒸馏方法压缩预训练语言模型，结合元学习以及领域关系图来捕捉不同领域的关系信息，在多领域数据集上实验证明该方法的性能优越性，以及它强大的少样本学习能力。

    Oct, 2021

  • 序列标注的编码器 - 解码器 Transformer 蒸馏

    本文提出了一个无幻觉的框架，以序列标记为例，该框架非常适用于蒸馏，追求计算效率的蒸馏方法有望从这些大模型获得的知识中获益，并在多个序列标记数据集上展现了新的卓越表现，证明了这个框架在少量数据学习场景下进行大模型蒸馏的有用性。

    Feb, 2023

  • HomoDistil: 预训练 Transformer 的同拓扑无关任务蒸馏

    本文提出了一种基于迭代剪枝的新型无需任务特定指导的蒸馏方法 ——Homotopic Distillation（HomoDistil），旨在实现在小的计算成本和存储占用下，通过迁移知识来产生一个紧凑的预训练模型，并通过大量实验表明，与现有基线方法相比，HomoDistil 具有明显的优势。

    Feb, 2023

  • DPHuBERT: 自监督语音模型的联合蒸馏和修剪

    DPHuBERT 是一种基于联合蒸馏和修剪的任务无关压缩方法，适用于资源受限的应用，可应用于各种语音自监督学习模型，并优于纯蒸馏方法。

    May, 2023

  • 文本分类的对抗自监督无数据蒸馏

    提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。

    Oct, 2020

  • 词嵌入蒸馏：一种编码方法

    本文提出一种编码方法，用于从高维词嵌入中提取特定任务的知识，旨在解决在各种资源受限系统中高性能的轻量级神经网络的需求问题。实验结果表明，从笨重的嵌入中提取知识优于使用小型嵌入直接训练神经网络，能保证高准确性的同时大幅减少模型复杂度。

    Jun, 2015

  • 通过解耦知识蒸馏，用 LSTM 压缩 HuBERT

    将知识蒸馏方法应用于压缩 HuBERT 的 Transformer 层，减少参数数量并在自动语音识别中提升性能。

    Sep, 2023