长尾识别中有效的协作学习

May, 2023

Towards Effective Collaborative Learning in Long-Tailed Recognition

Zhengzhuo Xu, Zenghao Chai, Chengyin Xu, Chun Yuan, Haiqin Yang

TL;DR该论文研究类别不平衡问题，提出基于比较两个分类器预测结果的重新加权蒸馏损失，以改善专家之间的知识转移不平衡问题，并结合对比代理任务支路实现特征质量的进一步提升，实验表明所构建模型达到了最优性能。

Abstract

Real-world data usually suffers from severe class imbalance and long-tailed distributions, where minority classes are significantly underrepresented compared to the majority ones. Recent research prefers to utilize multi-expert architectures to mitigate the model uncertainty on the min

class imbalance multi-expert architectures online distillation re-weighted distillation loss effective collaborative learning framework

发现论文，激发创造

在线知识蒸馏的同行协作学习

该论文提出了一种名为 “Peer Collaborative Learning” 的在线知识蒸馏方法，该方法能够将在线集成和网络协作融入一个统一的框架中，并在 CIFAR-10，CIFAR-100 和 ImageNet 等数据集上得到了验证及优于其他方法的效果。

Jun, 2020

通过协同专家实现图分类的长尾识别

通过协同多专家学习 (CoMe) 提出了一种新的长尾图级分类框架，从头部和尾部类的视角发展出平衡对比学习和基于难类挖掘的个体专家分类器训练，并在多专家框架中进行门控融合和解耦知识蒸馏。通过在七个广泛应用的基准数据集上进行全面实验，证明了我们的 CoMe 方法相对于现有技术基准的优势。

Aug, 2023

基于预测共识的协作学习

本文提出了基于蒸馏的方法，并采用信任加权方案，使用伪标签的无标签辅助数据促进合作学习，以达成对辅助数据的标签共识。我们证明了该方案相对于本地训练能显著提高模型性能，同时也可以识别和缓解对于众多模型的负面影响。在个体数据训练以及模型架构存在异质性的情况下，该方法表现得尤为有效。

May, 2023

NCL++：用于长尾视觉识别的嵌套协作学习

该研究提出了一种名为 Nested Collaborative Learning 的方法，它使用协作学习和平衡的在线蒸馏来解决长尾学习问题，并明显优于现有方法。

Jun, 2023

类平衡蒸馏在长尾视觉识别中的应用

提出了一种新的框架 CBD，利用知识蒸馏增强特征表示，通过使用类平衡采样，第二阶段的训练使得特征表示能够在少数类上进化，可以自然的适用多个 Teachers，并在 ImageNet-LT，iNaturalist17 和 iNaturalist18 数据集上取得比现有技术更好的性能。

Apr, 2021

在线对比学习的知识蒸馏在视觉识别中的应用

论文提出了一种互惠对比学习（MCL）框架来进行基于网络的集成学习，可以提高模型的特征表达能力，从而提高视觉识别任务的性能。

Jul, 2022

基于分支协作的异构学习对话生成

使用对话属性的双重群协作知识蒸馏，降低分支之间的同质性问题，并在两个公共领域的对话数据集中实现了超越先前工作的表现。

Mar, 2023

ECL：长尾皮肤病变分类的类增强对比学习

通过类增强对比学习方法，使用平衡的代理模型和参数优化策略，配合平衡的加权交叉熵损失函数，对于不平衡肌肤病变数据的分类问题进行了实验，证明了该方法的卓越性和有效性。

Jul, 2023

统一而有效的集成知识蒸馏

本文提出了一种有效的集成知识蒸馏方法，该方法能够从多个教师模型学习未标记数据的知识，并据此训练单个学生模型。研究表明，通过考虑不同教师之间的预测差异以及样本难度，可以进一步提高蒸馏的效果。

Apr, 2022

长尾学习中的平衡知识蒸馏

提出了一种平衡知识蒸馏（BKD）框架，通过实例平衡分类损失和类平衡蒸馏损失的组合来训练学生模型，并成功地解决了长尾学习中模型在尾部类上的性能问题和在头部的性能问题之间的矛盾，使学生模型比教师模型有了显著的性能提升。

Apr, 2021