样本效率情景下的赫比半监督学习

Mar, 2021

样本效率情景下的赫比半监督学习

Hebbian Semi-Supervised Learning in a Sample Efficiency Setting

Gabriele Lagani, Fabrizio Falchi, Claudio Gennaro, Giuseppe Amato

TL;DR提出了一种基于 Hebbian 学习与梯度下降相结合的半监督训练策略，通过在深度卷积神经网络的内部层使用基于 Hebbian 学习的无监督方法预训练，仅用标注样本训练最后的全连接层，实现了在标注样本数量较少情况下对象识别表现优于现有技术的目标。

Abstract

We propose to address the issue of sample efficiency, in Deep Convolutional Neural Networks (DCNN), with a semi-supervised training strategy that combines hebbian learning with gradient descent: all internal layers (both convolutional and fully connected) are pre-trained using an unsup

deep convolutional neural networks semi-supervised learning hebbian learning stochastic gradient descent object recognition

发现论文，激发创造

CSNNs: 无监督、不使用反向传播卷积神经网络的表示学习

本文提出了一种基于卷积神经网络、自组织映射聚类和赫布学习的卷积自组织神经网络（CSNNs）的建模方法，可以在无需反向传播的情况下完成学习，利用所提出的建模方法可以用于图像分类领域并取得与 Backpropagation 方法相当的性能。

Jan, 2020

深度贝叶斯主动半监督学习

通过半监督深度学习与主动学习相结合的方法，使用尽可能少的标记样本，同时利用熵最小化对未标记样本进行训练，在 MNIST 数据集上仅使用 300 个标记样本实现 2.06% 的误差率和 1000 个标记样本实现 1.06% 的误差率。该方法可以获得高准确性的敏捷标注过程，同时节省标记成本。

Mar, 2018

基于 DCNN 的语义图像分割的弱 / 半监督学习

作者提出一种针对弱监督和半监督学习条件下的语义图像分割模型训练的 Expectation-Maximization 方法，实验表明所提技术具有竞争性的成果，同时需求更少的标注工作量。

Feb, 2015

用梯度网络进行半监督学习

提出一种深度神经网络模型，通过反向传播同时最小化有监督和无监督代价函数的和，避免了逐层预训练的需要，结合 Ladder 网络和监督学习，实现半监督 MNIST 和 CIFAR-10 分类以及具有置换不变性的 MNIST 分类等诸多性能的最新结果。

Jul, 2015

在线图构建的卷积神经网络半监督学习

本文提出了一种适用于深度卷积神经网络的在线构建图形的半监督学习算法，以利用未标记数据提高监督学习的泛化能力。与传统的半监督学习方法相比，我们的方法使用基于网格输出的动态构建图形来更新网络，获得更好的效果。

Nov, 2015

邻域发现的无监督深度学习

本文提出了一种通用的无监督深度学习方法，通过发现样本邻域来推理和累计学习潜在的类别决策边界，进而进行分类，实验结果显示该方法在图像分类方面优于先前的无监督学习模型。

Apr, 2019

半监督深度学习的互斥损失

本文介绍了一种基于深度卷积神经网络的半监督学习方法，通过引入无监督的正则化项来指导决策边界落在不同数据类别的低密度区域，从而提升使用未标记数据的物体识别性能。

Jun, 2016

随机变换和扰动的正则化对深度半监督学习的提升

本文探讨利用卷积神经网络进行半监督学习的问题，提出利用随机数据增强、dropout、随机最大池化等技术来提高分类器的鲁棒性及稳定性，并设计了一种利用多次前馈预测结果来减小随机性差异的无监督损失函数，并在多个基准数据集上进行验证。

Jun, 2016

图像分析的本地无监督学习

本文提出了一种局部学习算法，结合图像数据和卷积滤波器、块归一化和非线性方法，可以成功地对 CIFAR-10 和 ImageNet 32x32 数据集进行分类，并展示了有关如何使用无标签数据从中学习通用表示的成功转移学习案例。

Aug, 2019

使用深度卷积神经网络学习语义分割的可转移知识

该论文介绍了一种新颖的弱监督语义分割算法，该算法利用基于深度卷积神经网络的辅助分割注释，通过设计解耦编码器 - 解码器体系结构来生成空间高光区域，并使用注意力模型和分割注解在不同类型中加速弱监督下的语义分割。训练该模型可以在 Microsoft COCO 数据集中的 60 个独家类别的注释下，显着提高在具有挑战性的 PASCAL VOC 2012 数据集中的表现。

Dec, 2015