knowledge distillation technique | BriefGPT

关键词knowledge distillation technique

搜索结果 - 4

ACL建立时间依赖关系图的文档级时间结构建模
利用新闻话语建模文档级时间结构构建时间依赖图。通过新闻话语的功能角色可恢复文档的时间结构，利用知识蒸馏技术，有效识别时间上相关的远距离事件和时间表达式。
PDF2 years ago
SSUL: 基于示例的类增量学习的未知标签语义分割
本文提出了一种新的方法 SSUL-M 方法，该方法结合了针对语义分割的技术并首次使用了微小样本存储器来解决类逐步学习中经常出现的语义漂移和多标签预测问题，实验证明其比其他最新技术基线表现更优秀。
PDF3 years ago
EMNLPTernaryBERT: 知识蒸馏感知的超低比特 BERT
本文提出 TernaryBERT，在 fine-tuned BERT 模型中采用了三元权重化，通过近似法和损失感知方法研究了 BERT 不同部分的三元化粒度，并在训练过程中利用知识蒸馏技术来减少低位容量引起的精度下降，实验证明 Ternar
PDF4 years ago
ACL使用知识蒸馏的可扩展语法感知语言模型
利用知识蒸馏技术将小型语法语言模型的知识传递到 LSTM 语言模型，从而使 LSTM 对更大的训练数据开发出更具结构感知性的表示方式。在针对语法的评估中，我们发现，尽管顺序 LSTM 比以前的报告要好得多，但我们提出的技术显著改善了这个基准
PDF5 years ago