CSNNs: 无监督、不使用反向传播卷积神经网络的表示学习

ICMLJan, 2020

CSNNs: 无监督、不使用反向传播卷积神经网络的表示学习

CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning

Bonifaz Stuhr, Jürgen Brauer

TL;DR本文提出了一种基于卷积神经网络、自组织映射聚类和赫布学习的卷积自组织神经网络（CSNNs）的建模方法，可以在无需反向传播的情况下完成学习，利用所提出的建模方法可以用于图像分类领域并取得与 Backpropagation 方法相当的性能。

Abstract

This work combines convolutional neural networks (CNNs), clustering via self-organizing maps (SOMs) and hebbian learning to propose the bu

convolutional self-organizing neural networks convolutional neural networks self-organizing maps hebbian learning unsupervised learning

发现论文，激发创造

邻域发现的无监督深度学习

本文提出了一种通用的无监督深度学习方法，通过发现样本邻域来推理和累计学习潜在的类别决策边界，进而进行分类，实验结果显示该方法在图像分类方面优于先前的无监督学习模型。

Apr, 2019

基于神经仿生无任务无监督在线学习的自维持映射模型

持续学习中的难题是灾难性遗忘，特别是在人工神经网络（ANNs）等无监督架构中，我们提出了一种称为连续自组织映射（CSOM）的泛化模型来解决这一问题。CSOM 在低内存预算下实现在线无监督学习，在多个基准测试中获得了准确性提高近两倍以及用于自动类别增量学习设置的最新技术成果。

Feb, 2024

CAGNN: 面向无监督图表征学习的聚类感知图神经网络

介绍一种新的无监督图嵌入学习方法，使用自监督技术，通过将节点嵌入进行聚类并预测节点分配情况更新模型参数，加强类内联系和减少类间联系从而更好地保留了嵌入空间中的类簇结构，并在两个基准任务中使用真实世界数据集展开比较实验，证明了该模型在准确性方面比现有基线方法优越，特别地，在节点聚类方面的准确率提升了超过 7%

Sep, 2020

卷积聚类用于无监督学习

本文介绍了一种基于增强版 k-means 聚类算法的深度卷积神经网络，该算法通过无监督学习技术利用分层特征来减少相关参数的数量，从而提高了测试分类精度。作者进一步展示了学习深度卷积神经网络各层之间的连接能够提高网络在少量标记数据上的训练能力，最终在 STL-10 数据集上获得 74.1% 的测试准确率以及在 MNIST 数据集上仅有 0.5% 的测试误差。

Nov, 2015

自组织运行神经网络用于严重图像恢复问题

本文提出了一种基于 Taylor 级数近似的自组织操作神经网络 Self-ONNs，旨在解决卷积神经网络在图像复原方面的不足问题，并在三个不同的复原任务上进行了广泛的消融实验以证明其优越性。

Aug, 2020

自监督卷积子空间聚类网络

提出了一种称为自监督卷积子空间聚类网络（S^2ConvSCN）的端到端可训练框架，该框架将 Convolutional Neural Network 模块（用于特征学习），自我表达模块（用于子空间聚类）和谱聚类模块（用于自我监督）组合到联合优化框架中，实现了同时的特征学习和子空间聚类。

May, 2019

基于层级竞争学习的生物启发式深度学习方法

该研究提出了一种基于生物学启发的新的深度卷积神经网络学习方法，使用无监督的竞争学习来进行预训练可解决标记数据缺乏的问题，在 MNIST、CIFAR-10 和 ImageNet 数据集上获得了最先进的表现，其高层次的学习表示方法不需要反向传播错误信号来训练卷积层，可用于各种标记不足的数据。

Jan, 2020

使用受监督的卷积核网络进行端到端核学习

本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

May, 2016

基于卷积单形投影网络 (CSPN) 的弱监督语义分割

本文介绍了一种新的使用深度卷积神经网络解决弱监督语义分割问题的方法，该方法使用基于类对象面积约束的单形投影，可以通用于任何 CNN 架构。实验结果表明，在只有图像级标签的弱监督情况下，将此操作应用于 CNN 的输出可以提高语义分割的准确性。

Jul, 2018

通过解决拼图游戏来无监督地学习视觉表征

本文研究了无需人工注释的图像表示学习问题，通过自监督学习的方式，构建了一个卷积神经网络，该网络能够以拼图问题作为预文本任务进行训练，从而无需手动标注，并在后续用于解决目标分类和检测问题；同时引入了一种名为 CFN 的无上下文网络，该网络以图像块作为输入，并将其早期处理单元的感受野（或上下文）明确限制为一次一个图像块，以保持跨任务的兼容性。通过训练 CFN 来解决拼图问题，我们学习了对象部分的特征映射以及它们的正确空间排列，实验评估结果表明，所学习的特征捕获了语义相关的内容；本文提出的学习视觉表示的方法在多个转移学习基准测试中胜过现有的最先进方法。

Mar, 2016