distillation techniques | BriefGPT

关键词distillation techniques

搜索结果 - 6

蒸馏对比解码：通过对比解码和蒸馏提高 LLMs 的推理能力
通过使用 Distillation Contrastive Decoding（DCD）方法，我们成功提升了大型语言模型（LLM）在推理过程中的推理能力，该方法结合了 Contrastive Chain-of-thought Promptin
PDF4 months ago
基于 LoRA 增强的导向扩散模型蒸馏
我们的研究探索了一种新颖的方法，将低秩适应性（LoRA）与模型蒸馏相结合，以有效地压缩扩散模型。该方法不仅减少了推理时间，还减轻了内存开销，甚至在应用蒸馏之前就显著降低了内存消耗。结果是显著减少了由蒸馏过程导致的推理时间，并且内存消耗减少了
PDF7 months ago
交流式通信：通过提炼预训练知识向下游模型传递
通过交互式通信过程扩展了知识蒸馏技术，帮助下游任务的学生有效地从预训练的基础模型中学习，并在基准数据集上进行实验证明我们的通信机制优于最先进的蒸馏技术。
PDF9 months ago
条件扩散蒸馏
通过图像条件实现的一种新颖的有条件蒸馏方法，将扩散模型的先验知识与图像条件相结合，大大简化了以往两阶段的蒸馏过程，并通过少量的额外参数和冻结的无条件主干网络实现了一种新的高效蒸馏机制，实验结果表明，该方法在多个任务上的表现优于现有的人工蒸馏
PDF9 months ago
将扩散模型的 ODE 求解器提炼为更小的步骤
提出了一种简单的蒸馏方法，通过优化 ODE 求解器而不是训练去噪网络，来提高扩散模型的采样速度和图像质量。通过蒸馏过程，D-ODE 求解器在生成样本时优于其他 ODE 求解器。
PDF9 months ago
FitHuBERT：语音自监督学习知识蒸馏的更轻更深
本文提出了一种名为 FitHuBERT 的新型语音自监督学习方法，通过在几乎所有模型组件上缩小尺寸并增加详细层级，并通过提示辅助蒸馏方法减少性能退化，将模型压缩至 HuBERT 大小的 23.8％和推理时间的 35.9％，在超级基准测试中实
PDF2 years ago