BriefGPT.xyz
大模型
Ask
alpha
关键词
odsd method
搜索结果 - 1
采样与蒸馏:开放世界数据的知识迁移
提出了一种名为数据无关知识蒸馏(DFKD)的新任务,旨在使用仅带有原始训练数据的教师网络训练高性能学生模型。通过自适应采样模块对接近原始数据分布的开放世界数据进行采样,引入低噪声表示以减轻领域漂移并建立多个数据示例的结构化关系来开发数据知识
→
PDF
a year ago
Prev
Next