层次分类调整的深度不平衡回归

Oct, 2023

Deep Imbalanced Regression via Hierarchical Classification Adjustment

Haipeng Xiong, Angela Yao

TL;DR通过构建层次分类器，解决不平衡回归任务，并通过保持范围的蒸馏过程有效地学习单个分类器。在不同的任务中，如年龄估计、人群计数和深度估计，展示了优越的结果。

Abstract

regression tasks in computer vision, such as age estimation or counting, are often formulated into classification by quantizing the target space into classes. Yet real-world data is often imbalanced -- the majority of training samples lie in a head range of target values, while a minor

regression tasks imbalanced data hierarchical classifiers range-preserving distillation imbalanced regression

发现论文，激发创造

自适应正则化的异方差和不平衡深度学习

提出了一种针对 heteroskedastic 数据集的数据依赖正则化技术，该方法能同时解决标签不确定性和标签分布不均衡等问题，并在多个基准测试中证实了它的有效性。

Jun, 2020

正则化分类感知量化

本文提出了一种正则化分类感知量化的算法，该算法通过在重构误差上进行正则化 0-1 损失，用于二元分类任务，性能比文献中的基准量化方案更优，并能在未见数据上快速处理。

Jul, 2021

不平衡深度回归问题的不确定性投票专家混合模型

该研究提出了一种适用于回归问题的新型混合专家方法，利用个体专家的预测不确定性作为融合的依据，实现对不平衡数据的有效学习。实验结果表明，该方法优于现有备选方案，同时产生更好的不确定性估计。

May, 2023

理解分类如何有助于回归的方法

在计算机视觉的深度回归方法中，添加一个分类损失到回归损失中可以得到改进的结果，尤其对于存在不平衡数据的回归任务尤为明显，因此我们建议在不平衡数据的回归任务中添加一个分类损失。

Aug, 2023

神经网络回归的设计概率校准

通过将后续校准嵌入到训练过程中，我们提出了一种名为量位数校准训练的新型端到端模型训练方法，该方法直接在训练过程中进行校准，无需额外参数，并且演示了其在大规模实验中在提高预测准确性的同时保持校准的性能。

Mar, 2024

深度不平衡回归研究

文章提出了一种新的方法 Deep Imbalanced Regression（DIR）来处理实际中连续性 target 的不均衡数据分布问题，通过分布平滑技术，使用已有数据来校准标签和学习特征的分布，同时构建了大规模的实际任务实验数据集，并在计算机视觉、自然语言处理、医疗保健等领域获得了良好的实验效果。

Feb, 2021

使用视觉注意聚合的深度不平衡属性分类

提出一种基于 multi-label 分类、视觉注意力机制、以及解决数据类别不平衡问题的损失函数等的方法，实现了在 PETA 和 WIDER-Attribute 数据集中的人体属性识别，并取得了最先进的效果。

Jul, 2018

关于分类的分布式量化

本文提出了一种分布式量化方案，旨在用训练数据为分类器设计量化器，不需要先验数据假设，而是专注于正确分类，可在任何特征数、任何类别数和任意特征分布的情况下进行多项式时间量化算法的设计。结果表明，将量化器适应于分类任务可以获得显着的节省，并可在保持预测精度不变的情况下将比特通信数量减少超过两倍。

Nov, 2019

局部计数模型的离散约束回归

本文通过控制综合型合成数据的实验，揭示了将计数作为分类任务表现优于回归任务的原因，并且提出了一种离散约束回归方法，应用于人群计数和年龄估计任务中表现更好。

Jul, 2022

层次化的选择性分类

部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为 “推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个 ImageNet 分类器进行了大量的实证研究，揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。

May, 2024