Jun, 2021

自适应深度聚类无监督迭代学习方法

PDF
TL;DR本文提出了一个名为 KIERA 的无监督连续学习方法，采用灵活的深度聚类方法来处理不断变化的环境，并提出基于质心的经验回放方法来克服灾难性遗忘的问题。实验结果表明，与现有方法相比，KIERA 具有高度的竞争性能。
unsupervised continual learningself-adaptive deep continual learnerelastic network structurecentroid-based experience replaycatastrophic forgetting problem
发现论文，激发创造
  • 基于伪标签的无监督连续学习

    本研究提出一种用伪标签取代标准标签，在无监督模式下实现连续学习的方法，并提出了一种新的基准实验协议，以更好地评估模型在图像分类任务上的性能。结果表明，使用伪标签和现有的监督方法相结合可以在无监督场景下取得良好的成果。

    Apr, 2021

  • 基于神经仿生无任务无监督在线学习的自维持映射模型

    持续学习中的难题是灾难性遗忘，特别是在人工神经网络（ANNs）等无监督架构中，我们提出了一种称为连续自组织映射（CSOM）的泛化模型来解决这一问题。CSOM 在低内存预算下实现在线无监督学习，在多个基准测试中获得了准确性提高近两倍以及用于自动类别增量学习设置的最新技术成果。

    Feb, 2024

  • 持续无监督表征学习

    本研究提出了一种名为 CURL 的方法，用于解决无监督的连续学习问题，通过学习动态的任务表示，以应对任务标识的缺乏，探索了任务之间的突然变化、平滑过渡和数据乱序等不同情况，并在 MNIST 和 Omniglot 数据集上证明了其强大性能。

    Oct, 2019

  • 无监督连续学习的表征连续性

    该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

    Oct, 2021

  • 内存高效的半监督持续学习：世界就是自己的重放缓冲区

    研究了半监督连续学习 (SSCL) 模型，使用伪标记、一致性正则化、知识蒸馏和外域检测策略，能够在 SSCL CIFAR-100 实验中最多提高 54.5% 平均任务准确性并减少存储图像数量。

    Jan, 2021

  • U-TELL：非监督式任务专家终身学习

    提出了一种名为 U-TELL 的无监督连续学习（Continual learning）模型，该模型使用任务专家，通过训练生成的结构化样本进行任务分配，以解决由于有限标签信息导致的灾难性遗忘问题。

    May, 2024

  • 前向 - 后向知识蒸馏的持续聚类

    在无监督连续聚类（UCC）中，引入了前向 - 后向知识蒸馏（FBCC）的概念，以解决连续学习中的灾难性遗忘问题，通过使用单个连续学习器和多个学生模型来改善聚类的性能和内存效率。

    May, 2024

  • 流式环境下的无监督连续学习

    提出了一种无监督的深度自动聚类网络（ADCN）的构建方法，它结合了自动提取特征的层和自治的全连接层，通过重建损失进行自我进化和自我聚类，没有标记样本，能够在流式环境中完全自主地构造 ADCN 结构。

    Sep, 2021

  • 核心连续学习

    本文介绍基于 kernel 方法的 kernel continual learning 模型，通过采用 episodic memory 存储子集样本的方式，利用 kernel ridge regression 算法学习任务特定的分类器，避免了内存重放以及分类器中存在任务干扰的问题。进一步，引入 variational random features 方法学习数据驱动的 kernel，而不需要提前选择 kernel 函数。在四个基准测试上的结果表明了 kernel 在 continual learning 任务中的有效性和灵活性。

    Jul, 2021

  • 平衡连续学习与微调在人类活动识别中的应用

    基于可穿戴式设备的人体活动识别是以人为中心的机器学习中的关键任务之一，该研究探索了采用和调整 CaSSLe 和 Kaizen 模型的方案来实现可穿戴式设备的人体活动识别，并研究了不同损失项之间的平衡与知识保留的权衡。

    Jan, 2024