BriefGPT.xyz
Ask
alpha
关键词
distillation process
搜索结果 - 2
Gecko:从大型语言模型中提取的多功能文本嵌入
我们提出了一种紧凑而多功能的文本嵌入模型 Gecko,其通过利用大语言模型(LLMs)将知识从 LLMs 中提炼到检索器中来实现强大的检索性能。
PDF
3 months ago
Transformer 转 CNN:用于文本分类的标签稀缺蒸馏方法
这篇论文介绍了一种用蒸馏过程从大型模型中训练出的卷积学生架构,它可以实现 300 倍的推理加速和 39 倍的参数减少,有时学生模型的性能甚至超过了它的老师模型。
PDF
5 years ago
Prev
Next