NIPSApr, 2018

竞争性学习丰富了学习表示，并加速了 CNN 的微调

PDF
TL;DR本研究将竞争性学习引入卷积神经网络（CNNs）中，通过使用未标记的数据进行有效的表征学习，从而提高表征学习和微调的效率。结果表明，在一些情况下，这种方法扩大了 CNNs 中的过滤器数量，实现了更详细而广泛的表征。
convolutional neural networkscompetitive learningrepresentation learningunsupervised learningfine-tuning
发现论文，激发创造
  • 基于层级竞争学习的生物启发式深度学习方法

    该研究提出了一种基于生物学启发的新的深度卷积神经网络学习方法，使用无监督的竞争学习来进行预训练可解决标记数据缺乏的问题，在 MNIST、CIFAR-10 和 ImageNet 数据集上获得了最先进的表现，其高层次的学习表示方法不需要反向传播错误信号来训练卷积层，可用于各种标记不足的数据。

    Jan, 2020

  • 使用预训练卷积神经网络和联想记忆库进行无监督学习

    本文介绍了一种新的架构和方法，用于无监督目标识别，自动提取 CNN 模型中的特征，并将其与基于 Hopfield 网络的联想记忆库结合使用，消除了监督深度学习中的反向传播，提供了良好性能。

    May, 2018

  • 利用视频进行无监督学习的视觉表示

    本文介绍了一种使用大量未标记数据进行无监督学习的方法，通过使用数十万个未标记的 web 视频作为数据集，设计了一个具有排名损失函数的 Siamese-Triplet 网络，用于深度卷积神经网络的无监督学习，可在不使用 ImageNet 的情况下，获得 52% 的 mAP 的性能，并展示了此非监督网络在其它任务中表现出竞争性。

    May, 2015

  • 利用粗略标签进行弱监督表示学习

    本研究提出了一种算法，在仅有粗糙分类标签的情况下，学习目标任务的细粒度模式并获得理论保证，实验表明该方法可以显着提高在目标任务上的表现。

    May, 2020

  • 邻域发现的无监督深度学习

    本文提出了一种通用的无监督深度学习方法，通过发现样本邻域来推理和累计学习潜在的类别决策边界，进而进行分类，实验结果显示该方法在图像分类方面优于先前的无监督学习模型。

    Apr, 2019

  • 从人脑中学习如何正则化机器

    通过使用大规模神经系统数据对卷积神经网络进行正则化来学习更强的神经特征，以提高模型对于对抗扰动和噪声的分类鲁棒性。

    Nov, 2019

  • 噪声标签学习中的表征与分类器解耦

    本文提出了一种名为 REED 的新方法来解决卷积神经网络在存在噪声标签时训练的挑战，该方法通过无监督学习获取表示，通过分类器的半监督自训练解决噪声标签学习问题，并联合半监督重新训练表示和分类器，实现了对噪声标签的鲁棒性，大量实验结果表明，该方法在高噪声水平下可以显著击败现有的最先进方法。

    Nov, 2020

  • 基于 CNN 的联合聚类和特征漂移补偿的大规模图像数据表示学习

    本文提出了一种基于卷积神经网络的迭代式聚类算法，采用 k-means 对图像进行聚类标签分配，结合特征漂移补偿机制以优化聚类精度和存储复杂度，并在大规模图像集上超越了现有算法的性能。

    May, 2017

  • 卷积聚类用于无监督学习

    本文介绍了一种基于增强版 k-means 聚类算法的深度卷积神经网络，该算法通过无监督学习技术利用分层特征来减少相关参数的数量，从而提高了测试分类精度。作者进一步展示了学习深度卷积神经网络各层之间的连接能够提高网络在少量标记数据上的训练能力，最终在 STL-10 数据集上获得 74.1% 的测试准确率以及在 MNIST 数据集上仅有 0.5% 的测试误差。

    Nov, 2015

  • CSNNs: 无监督、不使用反向传播卷积神经网络的表示学习

    本文提出了一种基于卷积神经网络、自组织映射聚类和赫布学习的卷积自组织神经网络（CSNNs）的建模方法，可以在无需反向传播的情况下完成学习，利用所提出的建模方法可以用于图像分类领域并取得与 Backpropagation 方法相当的性能。

    Jan, 2020