Unimodal-Concentrated Loss: 用于序列回归的全自适应标签分布学习

CVPRApr, 2022

Unimodal-Concentrated Loss: 用于序列回归的全自适应标签分布学习

Unimodal-Concentrated Loss: Fully Adaptive Label Distribution Learning for Ordinal Regression

Qiang Li, Jingjing Wang, Zhaoliang Yao, Yachun Li, Pengju Yang...

TL;DR通过三个原则，我们提出了一种全面自适应的标签分布学习方法，称为单峰浓缩损失方法，它使用学习排序策略获得单峰分布，并将估计误差和预测分布的方差集成到损失中，具有在年龄和头部姿态估计等回归任务上表现优越的结果。

Abstract

Learning from a label distribution has achieved promising results on ordinal regression tasks such as facial age and head pose estimation wherein, the concept of adaptive label distribution learning (ALDL) has dr

adaptive label distribution learning ordinal regression unimodal-concentrated loss learning to rank head pose estimation

发现论文，激发创造

序数回归的单模分布

提出了两种新的方法，一种是通过新的架构来实现偏好的单峰分布，另一种则通过利用映射的概念来建立新的损失函数，以促进单峰性，实践结果表明新架构获得了最佳性能，并且新损失项在维持高单峰性的同时具有很强的竞争力。

Mar, 2023

深度序分类的单模概率分布

本文提出了通过使用泊松分布和二项分布来约束离散序数概率分布为单峰态的简单技术，从而避免交叉熵损失产生的概率分布具有不良性质，并在深度学习的两个大型序数图像数据集上进行了评估，取得了良好的效果。

May, 2017

标签分布学习

本文提出了一种名为标签分布学习的新型学习范式，旨在解决标签重要性分布的问题。文章提出了六种工作 LDL 算法，并选择了六种代表性和多样化的评估措施，比较了这些算法的性能。实验结果表明，算法设计对 LDL 问题的特征非常重要，实现了性能上明显的优越性。

Aug, 2014

无需正则化：一种高效且有效的不完整标签分布学习模型

标签分布学习 (Label Distribution Learning, LDL) 为样本分配软标签，但是当标签分布是不完整的 (Incomplete LDL, InLDL) 时，往往会导致性能退化。本文提出了一种合理的替代方法来解决这个问题，利用标签分布本身的先验信息和加权方案，无需显式正则化即可获得准确的标签分布并表现竞争力。

Aug, 2023

深度标签分布学习中标签歧义的处理

该论文提出一种名为 DLDL（Deep Label Distribution Learning）的方法，通过最小化深度 ConvNets 预测和 ground-truth 标签分布之间的 Kullback-Leibler 散度来学习标签分布，有效地利用标签模糊性，并在训练集较小的情况下防止网络过度拟合，显著提高了年龄估计和头部姿态估计的结果，同时还改进了多标签分类和语义分割任务的识别性能。

Nov, 2016

使用具有标签分布感知边缘损失函数学习不平衡数据集

为了解决深度学习在类别分布不平衡的情况下训练表现差的问题，本研究提出了两种新的方法：一、设计了基于理论的标签分布感知边界 (LDAM) 损失函数；二、提出了一种简单而有效的训练策略来推迟重新加权，并在减轻权重的复杂性的同时实现模型对初始表示的学习，实验结果表明这两种方法能够提高模型性能。

Jun, 2019

将未标记数据纳入分布鲁棒学习中

本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在 14 个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。

Dec, 2019

通过分布式稳健优化实现统一性能学习模型

本研究提出了一种分布鲁棒的随机优化框架，利用凸形式化来解决学习模型受到数据生成分布扰动的问题，并通过多项收敛性保准来证明模型的可靠性，同时也得出了极限定理及有关泛化到未知人群、精细化认知等真实任务的证据。

Oct, 2018

多分布学习的分布相关速率

为了应对敏感机器学习应用中的不确定性建模需求，分布鲁棒优化（DRO）的设置在各种任务中寻求统一的良好性能。最近的多分布学习（MDL）框架以与环境的动态互动的方式解决了这一目标，在该框架中，学习者可以对每个目标分布进行采样访问。借鉴了纯探索多臂赌博机领域的观点，我们在 MDL 体制下提供了依赖于分布的保证，并且在与现有的分布无关分析相比，这种保证随着次优性差距的缩小而产生了优秀的样本大小依赖性。我们研究了两种非自适应策略：均匀探索和非均匀探索，并使用经验过程理论中的新工具提供了非渐进性后悔上界。此外，我们设计了一种自适应乐观算法 LCB-DR，展示了对差距的增强依赖性，类似于多臂赌博机文献中均匀分配和乐观分配之间的对比。

Dec, 2023

通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

Aug, 2023