BriefGPT.xyz
Ask
alpha
关键词
progressive distillation
搜索结果 - 5
基于掩码生成特征方法的逐步蒸馏用于知识图谱补全
本文提出了一种基于掩码生成特征的渐进蒸馏方法，用于知识图谱完成任务，显著降低了预训练模型的复杂性。通过对预训练模型进行预蒸馏以获取高质量的教师模型，然后压缩预训练模型网络获取多级学生模型，通过渐进蒸馏实现了从教师到学生的高效知识转移。实验结
→
PDF
6 months ago
通过渐进蒸馏加速基于扩散的组合优化求解器
基于图的扩散模型在解决 NP 完全问题的组合优化中展现了有希望的结果。然而，由于去噪扩散过程的迭代评估特性，这些模型通常在推理时效率低下。本文提出使用渐进蒸馏来加速推理过程，通过在去噪过程中只进行少量步骤的预测（例如，在单个步骤中预测未来两
→
PDF
a year ago
非自回归神经机器翻译的选择性知识蒸馏
本文提出了一种选择性知识蒸馏技术，通过 NAT 评估器选择高质量且易于学习的 NAT 友好目标，并引入简单而有效的渐进式蒸馏方法来提高 NAT 性能，在多个 WMT 语言方向和多个代表性 NAT 模型上进行实验。结果表明，我们的方法可以实现
→
PDF
a year ago
图像视频：扩散模型生成高清晰度视频
基于级联的视频扩散模型，Imagen Video 是一种文本有条件的视频生成系统，它使用基础视频生成模型和序列的交错空间和时间视频超分辨率模型生成高清视频。该系统可扩展为高清文本到视频模型，具有高度的可控性和世界知识，包括生成各种艺术风格的
→
PDF
2 years ago
WWW
PROD: 稠密检索的渐进式蒸馏
PROD 是一种高效的知识蒸馏方法，包括教师渐进式蒸馏和数据渐进式蒸馏，可用于稠密检索，实验结果表明，PROD 在知识蒸馏方法中达到了最佳性能。
PDF
2 years ago
Prev
Next