本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

Jun, 2020

通过引入双网络的反向传播方法和将网络中的层激活视作概率分布的参数，本文提出了一种解决反向传播中锁死和权重传输问题的新方法，从而实现对大型网络的分布式高效训练。相应的实验结果表明了其在多种任务和结构上的优越表现。

May, 2023

通过引入一种新的无反向传播的方法，本研究提出了一个基于局部误差信号的块状神经网络，可以分别优化不同的子神经网络，并通过并行计算局部误差信号来加速权重更新过程，取得了比使用端到端反向传播和其他最先进的块状学习技术更好的性能，特别是在 CIFAR-10 和 Tiny-ImageNet 数据集上。

Dec, 2023

本文对于深度卷积神经网络的自监督技术进行了批判性的探讨，指出在使用强大的数据增强技术后，三种不同但具有代表性的方法可以从单个图像中学习卷积网络的前几层，但是对于更深层的神经网络，即使使用了数百万张未标记的图像来进行训练，与手动监督的差距也无法弥补。该研究得出的结论是：（1）深度网络的早期层的权值包含的自然图像的统计信息非常有限，（2）这种低层次的统计信息可以通过自监督学习和强监督学习一样学习，（3）可以通过使用合成变换来捕获低层次的统计信息，而无需使用大量的图像数据集。

Apr, 2019

本论文主要研究使用自监督预训练在图像分类任务上进行在线渐进学习的方法，发现相较于有监督的预训练，利用自监督预训练可以得到更好的特征表征，且采样数量较少时优势更为明显。在三种在线渐进学习算法中，自监督预训练在 ImageNet 数据集上取得了较有竞争力的实验效果，相对于之前的基于在线渐进学习的图像分类方法有了较大的提升。

Mar, 2021

通过利用大量未标记的图像，本文提出了一种基于师生范式的管道来改善卷积神经网络的性能，并对我们的方法取得成功的因素提供了广泛的分析，从而为图像分类的半监督学习产生高精度模型提出了建议。

May, 2019

通过引入一种自定义目标和生物启发稳态机制，结合全局和局部学习规则，该研究提出了一种端到端无监督学习方法，在边缘人工智能硬件上表现出了较高的准确率，并展示了该方法在半监督学习中的应用潜力。

Mar, 2024

我们首次研究了自监督表征学习中前向 - 前向算法与反向传播的性能，并对所学到的表征空间提供了深入洞察。在四个标准数据集（MNIST，F-MNIST，SVHN 和 CIFAR-10）以及三种常用的自监督表征学习技术（旋转，翻转和拼图）上，我们进行了基准测试。我们的主要发现是，虽然前向 - 前向算法在（自）监督训练过程中表现与反向传播相当，但在所有研究的设置中，其迁移性能显著滞后。这可能是由于每个层有一个损失函数以及前向 - 前向范式中的监督训练方式等多种因素的组合导致的。与反向传播相比，前向 - 前向算法更加关注边界并丢弃了决策所不必要的信息，从而损害了表征学习目标。进一步的调查和研究对于稳定前向 - 前向策略以超越 Geoffrey Hinton 所展示的数据集和配置是必要的。

Sep, 2023

本论文综述了自监督预训练技术及其在序列迁移学习框架中的应用，包括自监督学习和迁移学习的分类体系、设计跨不同领域的预训练任务的突出方法以及近期趋势和未来研究方向。

Jul, 2020

本文提出一种二进制网络的自监督学习方法，使用移动目标网络和特征相似性损失、动态损失平衡和修改的多阶段训练来进一步提高准确度，称为 BURN。通过在七个数据集上进行五个下游任务的实证验证，我们发现 BURN 优于二进制网络的自监督对照组，有时胜过监督预训练。

Oct, 2021