Aug, 2023

无需正则化：一种高效且有效的不完整标签分布学习模型

PDF
TL;DR标签分布学习 (Label Distribution Learning, LDL) 为样本分配软标签，但是当标签分布是不完整的 (Incomplete LDL, InLDL) 时，往往会导致性能退化。本文提出了一种合理的替代方法来解决这个问题，利用标签分布本身的先验信息和加权方案，无需显式正则化即可获得准确的标签分布并表现竞争力。
label distribution learningincomplete ldlpriorweighted schemeimplicit regularization
发现论文，激发创造
  • 标签分布学习

    本文提出了一种名为标签分布学习的新型学习范式，旨在解决标签重要性分布的问题。文章提出了六种工作 LDL 算法，并选择了六种代表性和多样化的评估措施，比较了这些算法的性能。实验结果表明，算法设计对 LDL 问题的特征非常重要，实现了性能上明显的优越性。

    Aug, 2014

  • 从逻辑标签中学习标签分布

    本研究针对标签分布学习中标签增强方法的不足，提出了一种联合模型从逻辑标签中直接学习 LDL 模型，证实该方法对多个数据集能够直接构建可靠的 LDL 模型，同时比现有标签增强方法更准确地预测标签分布。

    Mar, 2023

  • 利用多标签相关性在标签分布学习中的应用

    引入辅助的多标签学习过程，恰当地利用辅助多标签学习中的低秩标签相关性，提升了标签分布学习方法的性能。

    Aug, 2023

  • 标签偏移下的领域自适应正则化学习

    提出了一种基于正则化的学习算法 Regularized Learning under Label shifts (RLLS)，该算法能够校正源域和目标域之间标签分布的转移，通过估计带权重的源目标数据并训练分类器，并以此推导出分类器在目标域的泛化边界，提出了一种小样本区间和大转移区间下考虑权重估计的正则估计器，实验证明，相比现有方法，RLLS 能够提高分类准确率，特别是在低样本和大转移区间。

    Mar, 2019

  • Unimodal-Concentrated Loss: 用于序列回归的全自适应标签分布学习

    通过三个原则，我们提出了一种全面自适应的标签分布学习方法，称为单峰浓缩损失方法，它使用学习排序策略获得单峰分布，并将估计误差和预测分布的方差集成到损失中，具有在年龄和头部姿态估计等回归任务上表现优越的结果。

    Apr, 2022

  • 学习不完整数据时对抗性扰动的鲁棒性

    本文研究了在对抗性扰动的假设下，无标记数据在推断问题中的作用，并将两种主要的学习框架 —— 半监督学习（SSL）和分布式鲁棒学习（DRL）统一起来，并在新的复杂性度量基础上进行了一般化理论的构建。

    May, 2019

  • 将未标记数据纳入分布鲁棒学习中

    本研究介绍了一种新的分布鲁棒学习方法，该方法通过加入无标签数据以限制敌手从指定分布中选择数据，可以有效地进行分类，并提出了一个分布鲁棒的版本，可应用于主动学习。在 14 个真实数据集上的结果表明，该算法往往在传统方法无法提供良好结果的情况下表现出色。

    Dec, 2019

  • 标签分布学习森林

    本文提出了基于不同 iable 决策树的标签分布学习森林（LDLF），旨在解决标签分布学习的限制假设与表征学习方面存在局限性等问题，并在多项实验和计算机视觉应用中验证了其有效性。

    Feb, 2017

  • 通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

    关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

    Aug, 2023

  • 利用一致性正则化学习标签比例

    本文提出了一种新的方法，通过引入半监督学习中的一种流行概念 - 一致性正则化，解决了标签比例学习（LLP）的问题，实现了更好的分类器表现，同时也提供了更好符合实际应用场景的非均匀背景生成和基于验证的参数选择过程。

    Oct, 2019