BriefGPT.xyz
Ask
alpha
关键词
ensemble distillation
搜索结果 - 4
CVPR
可压缩领域自适应
本文提出一种简单的框架，即 Slimmable Domain Adaptation，借助权重共享模型库来改善跨域通用性，并通过 Stochastic EnsEmble Distillation 方法从中提取模型间的互补知识进行模型库中众多模
→
PDF
2 years ago
最大贝叶斯 Smatch 集成蒸馏用于 AMR 解析
本研究提出了一种结合 Smatch-based 集成技术和集成蒸馏的方法，克服银标注数据减少的问题，并将英语解析器的性能推向了新的水平，并在中文、德语、意大利语和西班牙语的跨语言 AMR 分析方面取得了新的最高水平。该方法对于 QALD-9
→
PDF
3 years ago
EMNLP
结构化预测的集成蒸馏：校准、准确、快速 - 选择三项
研究了集成蒸馏作为一个通用框架，以产生良好校准的结构化预测模型，同时避免在推断时集成蒸馏的代价，本文对其在两个任务上进行了验证：命名实体识别和机器翻译。我们发现，在这两个任务中，集成蒸馏产生的模型保留了集成的性能和校准优势，而且只需要在测试
→
PDF
4 years ago
联邦学习中强化模型合并的集合蒸馏
本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。
PDF
4 years ago
Prev
Next