ICCVAug, 2023

层级标签拓展的在线持续学习

PDF
TL;DR通过多级分层标签扩展的在线学习约束，我们提出了一种新的多级分级类增量任务配置，该配置允许网络首先学习粗粒化类别，并在各个层次深度中不断扩展到更精细粒度的类别。通过利用层次感知的伪标签技术，结合简单而有效的记忆管理和采样策略，我们的方法能够在所有层次的分层结构中显著提高分类准确性，无论层次深度和类别不平衡比例如何，并且在传统的不相交、模糊和 i-Blurry 的连续学习设置上也优于现有的最先进方法。
continual learninghierarchical label expansiononline learning constraintrehearsal-based methodmemory management
发现论文，激发创造
  • 借助语言引导监督增强视觉持续学习

    利用预训练语言模型（PLMs）中的语义知识替换持续学习（CL）中的分类器，生成对每个类别的语义目标作为监督信号，以减少遗忘并促进知识传递。

    Mar, 2024

  • 使用增强图卷积网络的多标签持续学习

    提出增强图卷积网络（AGCN++）并使用部分标签编码器（PLE）对多标签连续学习（MLCL）进行跨任务标签关系构建、避免灾难性遗忘等处理，实验结果表明该方法是有效的。

    Nov, 2022

  • HCL：基于分层对比学习的图像表示改进

    在图表征学习中，提出了一种新的分层对比学习 (Hierarchical Contrastive Learning, 简称 HCL) 框架，采用自适应的 L2Pool 方法进行更合理的多尺度图形拓扑构建，并采用多通道伪孪生网络来进一步扩展各级别内的互信息学习，以获得更丰富和更具层次感的表示。通过实验，HCL 在节点分类、节点聚类和图分类等 12 个数据集上均取得了具有竞争力的性能表现，并且通过可视化显示，HCL 成功捕捉到了图的有意义特征。

    Oct, 2022

  • 使用所有标签：一种分层多标签对比学习框架

    本文提出了一种层次化多标签表征学习框架，该框架可以利用所有可用标签并保留类别之间的层次关系，并引入新颖的层次保持损失。该方法是数据驱动的，自动适应任意多标签结构。实验表明，我们的关系保持嵌入在各种任务上表现良好，优于基线监督式和自监督式方法。

    Apr, 2022

  • 使用监督对比学习学习标签层次

    我们介绍了一种 Label-Aware SCL 方法，通过利用类别之间的相似性，将层次信息融入到 SCL 中，从而创建一个更结构化和具有辨别性的特征空间，实现了更好的文本分类性能。

    Jan, 2024

  • 编排潜在专业知识：通过多级监督和反向自蒸馏推进在线持续学习

    在线连续学习中引入多层在线顺序专家 (Multi-level Online Sequential Experts, MOSE) 方法，通过多层监督和反向自蒸馏，培养模型为堆叠子专家，以实现学习新样本和保留过去知识的显著效果，大大提升 OCL 性能。

    Mar, 2024

  • 异质性持续学习

    本文提出了一个新的解决方案，Heterogeneous Continual Learning (HCL)，它使用知识蒸馏技术和 Quick Deep Inversion (QDI) 方法来实现对不断变化的网络架构的持续学习。在各种基准测试中进行的评估表明，与现有方法相比，在各种网络架构上的准确性都有显着提高。

    Jun, 2023

  • 学习一种进化的混合模型用于任务自由的连续学习

    本文提出了一种解决深度学习模型在没有显式任务信息的非定常数据流上进行持续学习的方法，即基于进化的混合模型，该模型的网络架构动态扩展以适应数据分布的变化，并引入了两个简单的丢弃机制来避免存储的例子过多导致记忆过载问题，实证结果表明，该方法在持续学习任务上取得了优异的性能。

    Jul, 2022

  • 基于伪标签的无监督连续学习

    本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。

    Apr, 2021

  • 层次多标签分类的双曲交互模型

    本文提出了一种使用超几何空间嵌入词汇和标签层次结构的方法来解决层级多标签分类问题。通过设计新的超球面交互模型，实现对标签感知的文档表示和 HMLC 预测，实验结果表明新模型相对于现有方法进一步提高了性能。

    May, 2019