BriefGPT.xyz
大模型
Ask
alpha
关键词
performance compression
搜索结果 - 1
ACL
跨语种语义相似匹配的多阶段蒸馏框架
本论文提出了一种多阶段蒸馏框架来构建小型但高性能的跨语言模型,同时结合对比学习、瓶颈和参数循环策略,解决了模型压缩过程中性能损失严重的问题,并证明该方法可以将 XLM-R 和 MiniLM 的大小压缩了 50%以上,而性能仅降低了约 1%。
PDF
2 years ago
Prev
Next