- 通过特征空间增强和迭代学习实现长尾图像生成
基于稀疏嵌入和 K-NN 方法,我们提出了一种基于预训练的稳定扩散模型的图像增强方法,以解决图像生成中的数据不平衡问题。
- ICLR没有指数数据就没有 “零样本”:预训练概念频率决定多模态模型性能
多模态模型的 “零样本” 泛化能力在大规模训练范式下面临指数级的数据需求,其性能受预训练数据集中概念频率的影响,并对长尾数据表现较差。
- 通过对预训练模型进行校准,在二进制网络上进行长尾识别
使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布,通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师,结合对目标函数术语的对抗平衡和高效的多分辨率学习方案,在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究, - 学习长尾数据的降标签方法
减少长尾数据标注成本的弱监督学习方法,有效保留了尾部样本的有监督信息,并提出了一种简单高效且具有强大理论保证的学习框架,通过对 ImageNet 等基准数据集的广泛实验证实了其有效性,优于最先进的弱监督方法。
- 小型语言模型在中文实体关系抽取中的有效指导
我们提出了 SLCoLM 模型协作框架,通过任务特定的预训练语言模型作为导师,将任务知识传递给大型语言模型,并在关系提取任务中进行指导,从而缓解了数据长尾问题。实验结果表明,本论文中的方法有助于提取长尾关系类型的关系提取任务。
- SememeASR: 利用义元语义知识提升端到端语音识别在领域和长尾数据转移上的性能
在语音识别领域,通过引入基于义原的语义知识信息(SememeASR),从知识驱动的角度改进了纯数据驱动方法的问题解决,提高了语音识别的有效性,并增强了模型对长尾数据的识别和领域泛化能力。
- 通过协同专家实现图分类的长尾识别
通过协同多专家学习 (CoMe) 提出了一种新的长尾图级分类框架,从头部和尾部类的视角发展出平衡对比学习和基于难类挖掘的个体专家分类器训练,并在多专家框架中进行门控融合和解耦知识蒸馏。通过在七个广泛应用的基准数据集上进行全面实验,证明了我们 - 平衡分类:长尾物体检测的统一框架
本文介绍了一种名为 BAlanced CLassification(BACL)的统一框架,用于应对长尾数据分类偏差问题,该框架通过自适应校正类别分布中的不平等和动态增强样本多样性来解决这些问题。具体采用了前景分类平衡损失(FCBL)和动态特 - 从头到尾的特征融合:一种极端的长尾视觉识别增强策略
本文中提出了一种用于解决长尾数据中深度神经网络的头部类别与尾部类别不平衡分布所导致的性能问题的解决方案 —— 头尾融合(H2T),并且通过各种长尾数据基准测试表明了该方案的有效性。
- ICML基于威布尔–柯西分布的角 Softmax 模型用于长尾视觉识别
提出了一种新的 softmax 函数 (Wraped Cauchy Distributed Angular Softmax),可以解决视觉识别中不平衡数据和长尾数据的问题。该方法使用基于高斯核的数据智能,并且可以对类别的角度表示进行分布,可 - 探索长尾识别问题中的权重平衡
研究了一种针对长尾数据的方法,基于权重平衡和两阶段训练结合的经典正则化技术,通过分析神经崩溃和锥效应,发现该方法是通过权重衰减和交叉熵损失以及类平衡损失调整的隐式 logit 方法增加特征提取器的 Fisher 判别比率。研究表明,通过将训 - 通过平滑尾部数据逐步学习,提高长尾目标检测能力
本文通过构建 smooth-tail 数据实现对长尾数据的更精确检测,并通过逐步优化模型以达到提高模型性能的目的。通过在 LVIS v0.5 和 LVIS v1.0 数据集上进行实验验证了本方法的卓越性能。
- CVPR高斯云逻辑调整的长尾视觉识别
本文提出了一种适用于长尾数据的新的神经网络训练方法,使用高斯混合调整不同分类逻辑回归的差异,实现对样本在嵌入空间的调整,从而解决长尾问题,同时也提出了一种分类器的重新训练策略来减轻歧视,实验表明该方法具有卓越的性能。
- 高斯型调整逻辑斯谛回归用于长尾视觉识别
该论文针对长尾数据分类的问题,从特征层面提出了特征增强及对数调整方法,用以平衡嵌入(embedding)分布,消除分类器偏差,实验表明该方法超越了现有的最佳方法。
- 面向长尾视觉识别的特征平衡损失
本文提出了通过使用平衡的特征损失,通过课程学习来加强长尾类别的激励,强化尾部类别的特征规范,从而提高了长尾问题的性能,并在多个受欢迎的长尾识别基准上实现了优越的性能增益。
- 在联邦式长尾学习中,将局部真实数据与全局梯度原型集成以进行分类器再平衡
本篇研究对去中心化的 Federated Learning 中,数据长尾分布导致全局模型严重偏向于头部类别而出现的问题进行了探究和解决,提出了一种局部平衡数据集的方法,并在训练时引入了额外的分类器,同时优化分类器的平衡和全局数据分布的建模, - ICLR深入探究语义规模不平衡
本研究旨在定义和量化类别的语义规模,以测量各个类别的特征多样性,并提出了一种量化语义规模不平衡的方法,设计并实现了基于语义规模平衡的学习方法,在多个数据集上得到了优于传统方法的性能表现。
- CVPR面向长尾视觉识别的平衡对比学习
本研究提出一种适用于长尾数据的平衡对比学习方法 (BCL),通过均衡梯度贡献和多类别出现于每次 mini-batch 的方式,使分类器实现更好的优化,并在多个长尾数据集上超过了现有竞争对手 (ClFAR-10-LT,CIFAR-100-LT - IJCAI走向联邦长尾学习
本文探讨如何在隐私保护联邦学习框架下,同时解决学习长尾数据分布及数据隐私保护问题,提出了三种不同的长尾数据分布情景,并强调了相应的挑战。初步结果表明,解决联邦长尾学习任务需要更多的工作和研究。
- 私人学习有多不公平?
研究使用机器学习算法进行敏感数据的决策过程,在处理长尾数据结构时,难以在隐私和准确性之间取得平衡。虽然放松整体准确性需求有助于保证公平性,并且在多项实验中得出了相关结论,但是需要认真考虑隐私要求。