online distillation | BriefGPT

关键词online distillation

搜索结果 - 7

IJCAIOD-DETR：用于稳定检测转换器训练的在线蒸馏
该论文介绍了一种使用在线蒸馏方法来稳定 DEtection TRansformer（DETR）训练的方法，通过利用教师模型引导学生模型的学习，在匹配关系、初值约束和辅助组三个方面进行知识蒸馏，成功稳定训练并显著提高性能。
PDFa month ago
高效在线主动蒸馏的查询策略
通过评估一组查询策略，在人体姿势估计应用中，通过两种方法（离线方法和基于知识蒸馏的在线评估）评估训练过程中所选择的帧对训练结果的影响，证明了在实时场景中有效地将边缘轻量级模型适应于新环境的训练的可能性。
PDF10 months ago
长尾识别中有效的协作学习
该论文研究类别不平衡问题，提出基于比较两个分类器预测结果的重新加权蒸馏损失，以改善专家之间的知识转移不平衡问题，并结合对比代理任务支路实现特征质量的进一步提升，实验表明所构建模型达到了最优性能。
PDFa year ago
CVPR在线渐进学习实现循环域漂移的蒸馏
本文提出在线蒸馏过程中发生领域转移时容易出现的重要问题 —— 灾难性遗忘，针对这一问题，提出了一种基于 continual learning 方法的解决方案，我们将多种最先进的 continual learning 方法纳入在线蒸馏的上下文
PDFa year ago
ICLR监督复杂度及其在知识蒸馏中的作用
本文提出了一个新的理论框架，探究了知识蒸馏的学生的普适性行为，并评估了在线蒸馏的效力。该框架突出了教师提供监督和学生的神经切线核之间的对齐度的复杂性之间微妙的相互作用，为蒸馏中流行的各种技术的效用提供了严密的理论基础。
PDFa year ago
图神经网络的在线对抗蒸馏
本文提出一种在线对抗蒸馏方法，通过以团体知识来作为动态虚拟教师和有效地捕获图神经网络中的结构变化来同时训练一组图神经网络。在这个方法中，我们通过传输反映图拓扑和节点属性信息的本地知识和反映类预测的全局知识来增强彼此的性能，以提高蒸馏性能。
PDF3 years ago
NIPS即席本地集成的知识蒸馏
本文研究使用在线知识蒸馏方法，提出了一种 On-the-fly Native Ensemble (ONE) 策略，通过构建强大的 teacher 来提高目标网络的学习，该方法在多种深度神经网络上性能明显优于其他方法，并具有计算效率优势。
PDF6 years ago