ICLROct, 2020

路由多样分布感知专家实现长尾识别

PDF
TL;DR本文提出了一种新型的长尾分类器 RIDE，通过多个专家、分布感知多样性损失以及动态专家路由模块来减小模型方差、缩小模型偏差与尾部的差距，相较于现有的方法，在 CIFAR100-LT、ImageNet-LT 和 iNaturalist 2018 基准测试上性能提高了 5％到 7％，并可应用于各种主干网络和长尾算法，具有较高的普适性和一致性性能。
long-tailed classifierrouting diverse experts (ride)tail datamodel variancemodel bias
发现论文，激发创造
  • 通过协同专家实现图分类的长尾识别

    通过协同多专家学习 (CoMe) 提出了一种新的长尾图级分类框架，从头部和尾部类的视角发展出平衡对比学习和基于难类挖掘的个体专家分类器训练，并在多专家框架中进行门控融合和解耦知识蒸馏。通过在七个广泛应用的基准数据集上进行全面实验，证明了我们的 CoMe 方法相对于现有技术基准的优势。

    Aug, 2023

  • ResLT: 面向长尾识别的残差学习

    本研究提出通过保留特定类别低频率的能力，并设计了一种有效的残差融合机制来缓解极不平衡数据分布的深度学习算法应用长尾数据分布时普遍存在的问题，通过在参数空间的角度来解决长尾识别问题，并在多个基准数据集上进行了测试，证明了方法的有效性。

    Jan, 2021

  • 长尾识别的表示与分类器解耦

    本研究中，我们解耦学习过程，系统地探索不同平衡策略如何影响长尾识别的表示学习和分类器。我们的发现表明，数据不平衡在学习高质量表示方面可能不是问题，在使用最简单的实例平衡抽样进行学习表示的情况下，只需调整分类器就能实现强大的长尾识别能力，甚至可以胜过精心设计的损失、采样策略以及使用记忆组件的复杂模块。

    Oct, 2019

  • AMEND: 长尾轨迹预测的专家混合框架

    通过使用专门的专家组合和路由器网络，本研究提出了一种模块化、无模型依赖的轨迹预测框架，不仅在常见情景下取得了最新的性能，而且在长尾场景下显著提高了预测准确性。

    Feb, 2024

  • 使用深度逼真分类器解决长尾识别问题

    提出了一种新的解决长尾问题的方法 —— 深度逼真的分类器（Deep-RTC），该模型将现实主义与分层预测相结合，并具有在分类不确定性时拒绝样本的机制。

    Jul, 2020

  • 自监控多元专家聚合在测试不敏感的长尾识别中

    本文提出了一种新的方法来解决训练数据分布为长尾分布，同时测试数据分布为未知分布的实用问题，该方法是通过利用自监督来聚合多个从单个长尾数据集中训练出来的技能不同的专家，并理论上证明了该自监督策略具有模拟无关测试类分布的能力。

    Jul, 2021

  • 通过自异构整合与知识挖掘实现长尾视觉识别

    这篇文章提出了一种基于深度神经网络的 MoE 模型 ——Self-Heterogeneous Integration with Knowledge Excavation（SHIKE）来解决长尾分布的问题，模型采用 Depth-wise Knowledge Fusion（DKF）融合不同浅层和深层次的特征，以达到更好的分类效果。

    Apr, 2023

  • 深度长尾学习综述

    本文系统总结了深度长尾学习的最新进展，围绕着类别再平衡、信息增强和模块改进三个主要类别对相关方法进行详细探讨，并通过提出的相对准确度评估指标对最先进的方法进行了实证分析，为深度长尾学习的应用和未来研究方向提供了重要的参考。

    Oct, 2021

  • 从不平衡中构建平衡：长尾图像识别

    本文提出了一种新的解决长尾图像识别中头尾偏差问题的方法，通过调整标签空间来平衡数据，从而提高分类性能。实验证明该方法可应用于多种模型，并为长尾特征学习提供了思路。

    Aug, 2022

  • 长尾学习的分布鲁棒性损失

    本文提出了一种基于鲁棒性理论的新型损失函数，旨在解决深度模型在处理不平衡数据时的分类偏差问题，从而提高对于长尾类别的识别准确性。在多项基准测试中，通过降低特征空间中头类别的表示偏差，该方法相较于已有方法以及 SOTA 方法均得到了更好的效果。

    Apr, 2021