soft label | BriefGPT - AI 论文速递

关键词soft label

搜索结果 - 4

软标签 PU 学习
本文提出了一种软标签的 PU 学习方法，通过根据样本可能是正样本的概率为未标记数据分配软标签，并设计了相应的 PU 评估指标来评估其性能。实验证明了所提出方法在公共数据集和腾讯游戏的反作弊服务上的有效性。
PDF2 months ago
高效参数和适合学生的知识蒸馏
本文提出一种参数高效、学生友好的知识蒸馏方法 PESF-KD，通过更新相对较少的参数，实现高效、充分的知识转移，其中引入了适配器模块，将教师的输出转化为合适平滑度的软标签。实验表明，与在线蒸馏方法相比，PESF-KD 能够显著降低培训成本，
PDF2 years ago
ICCV自我监督到蒸馏：长尾视觉识别
本文提出了一种 Self Supervised 到 Distillation (SSD) 的概念简单却特别有效的多阶段训练方案，通过使用软标签，此方案能够很好的将标签相关性融入到多阶段训练方案中来有效的进行长尾识别，实验表明，我们的方法在几
PDF3 years ago
ICML基于决策的黑盒模型的零 - shot 知识蒸馏
该研究提出一种基于决策边界的黑盒知识蒸馏方法（DB3），包括由教师决策边界构造软标签，以及生成伪样本以代表未知数据，皆不需要接触教师参数，结果表明该方法在各种基准网络和数据集上都表现出有效性。
PDF3 years ago