无监督渐进学习和 STAM 架构

IJCAIApr, 2019

Unsupervised Progressive Learning and the STAM Architecture

James Smith, Cameron Taylor, Seth Baer, Constantine Dovrolis

TL;DR本文提出了一种解决自主学习和非稳态无标签数据流问题的方法：使用一种自学习联想存储体结构和在线聚类，新颖性检测以及仅存储典型特征等方法，实现动态增长的特征数并解决异常点问题，同时该方案也在聚类和分类任务上进行了评估。

Abstract

We first pose the unsupervised progressive learning (UPL) problem: an online representation learning problem in which the learner observes a non-stationary and unlabeled data stream, learning a growing number of features that persist over time even though the data is not stored or repl

unsupervised progressive learning self-taught associative memory online clustering novelty detection continual learning

发现论文，激发创造

跨层表示优化预训练模型的无需重演训练的持续学习

我们提出了 LayUP，这是一种基于类原型的持续学习方法，利用预训练网络的多个中间层的二阶特征统计。与最佳基准线相比，LayUP 在七种类增量学习设置中提高了四种，并且在内存和计算资源占用方面大大减少。我们的结果表明，充分利用预训练模型在持续学习中的表示能力远不止于最终嵌入。

Dec, 2023

无监督连续学习的表征连续性

该研究提出了一种基于无监督学习方法的连续学习技术，可以在不需要人工标注的数据的情况下设法学习连续任务的特征表示，并通过使用 LUMP 技术来缓解灾难性遗忘问题。

Oct, 2021

URLOST: 无监督学习表示，不需要稳定性和拓扑学

无监督表示学习在处理高维数据模态时受限于数据特异性的稳定性和拓扑性，而生物智能系统却没有这样的限制。我们引入了一个新的框架，从缺乏稳定性和拓扑性的高维数据中进行学习，通过可学习的自组织层、密度调整的谱聚类和掩码自编码器的结合，我们的模型在生物视觉数据、神经记录以及基因表达数据上得到了有效的评估。与 SimCLR 和 MAE 等最先进的无监督学习方法相比，我们的模型在不依赖于稳定性和拓扑性的情况下能更好地学习到有意义的表示，也胜过了其他与这些因素无关的方法，从而在该领域开辟了新的基准，这项工作是迈向能够在不同高维数据模态之间泛化的无监督学习方法的一步。

Oct, 2023

基于神经仿生无任务无监督在线学习的自维持映射模型

持续学习中的难题是灾难性遗忘，特别是在人工神经网络（ANNs）等无监督架构中，我们提出了一种称为连续自组织映射（CSOM）的泛化模型来解决这一问题。CSOM 在低内存预算下实现在线无监督学习，在多个基准测试中获得了准确性提高近两倍以及用于自动类别增量学习设置的最新技术成果。

Feb, 2024

从一开始进行持续的伪标签化

本文提出了动态控制自训练过程中伪标签（PL）进化的方法，该方法避免了在低资源设置下过拟合到有标记的数据集。通过在线更改 PL 来控制 PL 缓存的会员资格和改善泛化能力。在预测分布中采样可进一步稳定训练，这两种技术使我们的自训练模型与之前的工作不相上下。

Oct, 2022

U-TELL：非监督式任务专家终身学习

提出了一种名为 U-TELL 的无监督连续学习（Continual learning）模型，该模型使用任务专家，通过训练生成的结构化样本进行任务分配，以解决由于有限标签信息导致的灾难性遗忘问题。

May, 2024

连续自监督学习的挑战

本文研究了自我监督学习在连续流数据中的应用及其效率，提出了重放缓存与最小冗余样本的方法来增强学习。实验结果表明，这些方法可以有效提高表示学习的精度和鲁棒性，在非平稳的语义分布下也不容易出现灾难性遗忘。

Mar, 2022

自监督学习的自适应记忆网络用于无监督异常检测

本研究提出了一种名为 AMSL 的新方法，通过自身监督学习模块和适应性记忆融合模块，增强了无监督异常检测的泛化能力，并且在四个公共基准测试集上取得了显著的性能改进。

Jan, 2022

无监督连续学习中融合现在和过去

我们提出了一种适用于无监督连续学习（UCL）的统一框架，该框架将实时数据和过去数据的特定学习目标区分开来，包括稳定性、可塑性和跨任务整合。我们的方法 Osiris 在分离的嵌入空间中明确优化这三个目标，并在所有基准测试中取得了最先进的性能，包括本文提出的两个具有语义结构化任务序列的新基准测试。与标准基准测试相比，这两个结构化基准更接近人类和动物在导航现实环境时接收到的视觉信号。最后，我们展示了一些初步的证据表明连续模型可以从这样的真实学习场景中受益。

Apr, 2024

单次前向传播的表示学习

我们提出了一种以神经科学为灵感的单次传递嵌入式学习算法（SPELA），它是培训和推理应用于边缘 AI 设备的优选候选者，同时 SPELA 可以最佳地满足对感知表示学习和形成的研究框架的需求。与传统方法相比，SPELA 无需反向传播，我们展示了该算法在噪声布尔操作数据集上能够进行非线性分类的性能，并且在 MNIST、KMNIST 和 Fashion MNIST 上表现出高性能，最后，我们展示了 SPELA 在 MNIST、KMNIST 和 Fashion MNIST 上的几个 shot 和 1 epoch 学习能力，其中它始终优于反向传播。

Feb, 2024