multi-teacher distillation | BriefGPT

关键词multi-teacher distillation

搜索结果 - 7

UDON: 通用动态在线蒸馏用于通用图像表示
UDON 是一种新的学习技术，利用多教师蒸馏将每个教师的特定领域知识传递给学生通用嵌入，通过采样技术动态分配培训批次以加快学习复杂领域的速度，并在最近的 UnED 基准测试中显著提高了性能。
PDF20 days ago
基于双层优化的多导师蒸馏的噪声节点分类
该论文提出了一种基于双层优化的新型多教师蒸馏方法（即 BO-NNC），用于在图数据上进行有噪声节点分类。通过多个自监督学习方法训练多个教师模型，并通过教师权重矩阵对其预测进行集成；同时设计了一种新的双层优化策略来根据学生模型的训练进程动态调
PDF2 months ago
AAAI全员漂白：高效视觉检索的多教师蒸馏
通过多教师蒸馏框架 Whiten-MTD，该论文提出了将知识从预训练的检索模型转移到轻量级学生模型以实现高效的可视化检索，实验证明了该方法在检索性能和效率上的良好平衡。
PDF7 months ago
AM-RADIO: 聚合模型 -- 将所有领域合并为一个
AM-RADIO 是一种通过多教师蒸馏将多个视觉基础模型 (BFM) 有效合并为一个统一模型的方法，超越了单个教师模型的性能，并融合了其独特的特征，如零 - shot 视觉 - 语言理解、像素级理解和开放式词汇分割能力。通过评估多个架构，此
PDF7 months ago
多教师蒸馏用于多语言拼写校正
我们使用多教师蒸馏的方法解决了多语言自然语言处理中的拼写纠正挑战，并通过实验证明这种方法产生了高效的拼写纠正模型，满足部署服务的严格延迟要求。
PDF7 months ago
结合过去、现在和将来：一种用于分类增量学习的自监督方法
提出了一种基于自监督学习的类增量学习框架 CPPF，具有原型聚类模块、嵌入空间保留模块和多教师蒸馏模块，该方法在 CIFAR100 和 ImageNet100 数据集上实验证明了其对自监督类增量学习性能的提升。
PDF8 months ago
AAAI基于跨模态域适应的医学图像分割中频率和空间域内的领域差异降低
本文提出了一种基于多教师蒸馏框架下的频率和空间域转移的简单有效的无监督领域自适应方法，其中使用非下采样轮廓波束变换来识别域不变分量和域变分量，并使用批次动量更新的直方图匹配策略来减少图像风格偏差。两个医疗图像分割数据集上的实验表明，我们的方
PDF2 years ago