ELF:长尾分类的早退出框架
本研究提出通过保留特定类别低频率的能力,并设计了一种有效的残差融合机制来缓解极不平衡数据分布的深度学习算法应用长尾数据分布时普遍存在的问题,通过在参数空间的角度来解决长尾识别问题,并在多个基准数据集上进行了测试,证明了方法的有效性。
Jan, 2021
本文提出了一个名为 ELF 的平台,用于强化学习领域的研究。通过实验,我们展示了在该平台上进行的训练参数在 Mini-RTS 等三个实时策略游戏中的强大性能。而该平台在游戏环境和强化学习算法上的灵活性,也显示出了其可扩展性。
Jul, 2017
通过使用粗粒度引导森林和多中心损失作为不变特征学习的基础,我们提出了一种名为 Cognisance 的长尾分类框架,该框架能够建立多粒度联合解决模型,解决长尾分类中的类内不平衡问题,并且在 ImageNet-GLT 和 MSCOCO-GLT 两个基准上取得了最先进的性能。
Oct, 2023
本文提出了一种基于样本加权的训练策略,用于桥接训练与测试时 Early exiting 行为的差距,通过联合优化权重预测网络和网络主干模型,在训练期间模拟其在推理期间的自适应行为,从而提高分类准确度和推理效率的权衡。
Sep, 2022
本文提出了一种新型的长尾分类器 RIDE,通过多个专家、分布感知多样性损失以及动态专家路由模块来减小模型方差、缩小模型偏差与尾部的差距,相较于现有的方法,在 CIFAR100-LT、ImageNet-LT 和 iNaturalist 2018 基准测试上性能提高了 5%到 7%,并可应用于各种主干网络和长尾算法,具有较高的普适性和一致性性能。
Oct, 2020
本文介绍了一种基于自适应学习的自我学习知识蒸馏方法, Learning From Multiple Experts (LFME), 可以从多个不平衡子集训练的专家模型中联合学习一个统一的学生模型,以应对长尾分布数据对深度学习的训练造成的困难,并通过实验证明了其在长尾分类任务中的卓越性能。
Jan, 2020
研究开放式长尾识别(OLTR)算法,该算法需能在学习具有长尾分布的数据、分类多数和少数类别以及识别未知类别的情况下优化分类准确率,采用动态元嵌入技术实现快速识别,对三种数据集进行的实验结果表明,该算法在 OLTR 领域已处于领先地位。
Apr, 2019
ELFS 是一种新颖的无标签核心集选择方法,通过深度聚类估计数据困难度得分,使用简单但有效的双端修剪方法减小计算得分的偏差,并在五个视觉基准测试中展示了优于其他无标签基线方法的性能。
Jun, 2024
本文介绍了一种名为双分支长尾识别(DB-LTR)的简单而有效的模型,它包括一个不平衡学习分支和一个对比学习分支(CoLB),通过利用常见的不平衡学习方法来解决数据不平衡问题,并通过对比学习分支来改善模型对尾部类别的适应能力,并学习出一个具有很好表现特征空间和有区分度的决策边界。在 CIFAR100-LT、ImageNet-LT 和 Places-LT 三个长尾基准数据集上的大量实验证明,DB-LTR 相比比较方法具有竞争力且卓越。
Sep, 2023
这篇文章提出了一种基于深度神经网络的 MoE 模型 ——Self-Heterogeneous Integration with Knowledge Excavation(SHIKE)来解决长尾分布的问题,模型采用 Depth-wise Knowledge Fusion(DKF)融合不同浅层和深层次的特征,以达到更好的分类效果。
Apr, 2023