ICLRDec, 2014

近期进展下的无监督预训练分析

PDF
TL;DR本文针对卷积神经网络在物体识别方面的表现进行研究，探讨了无监督预训练在近期发展中是否仍具有重要的作用，并通过实验证实了无监督预训练对于样本中无监督数量比例较高时的效益，而当比例较低时不如数据增强、抑制过拟合等技术，此外文中还提到了色彩增强等方式更接近于先前最先进方法的表现。
convolutional neural networksunsupervised pre-trainingrectified linear unitsdata augmentationdrop-out
发现论文，激发创造
  • 无监督预训练非策展数据图像特征

    本研究提出了一种新的无监督学习方法，利用自监督和聚类从大规模数据中捕获互补统计信息，通过对 YFCC100M 中 9600 万张图片的验证，本方法已经成为标准基准测试中无监督方法中最先进的方法之一，也展示了使用本方法预训练的 VGG-16 在 ImageNet 验证集上可以获得 74.9 % 的分类精度，比同一网络从头开始训练提高了 0.8%。

    May, 2019

  • 将无监督目标用于大规模图像分类的监督神经网络增强

    本研究通过在神经网络中添加重构的解码路径，探究了联合监督和无监督学习的应用，通过多种自编码器的比较，提高了在计算机视觉中的监督学习表现和 ImageNet ILSVRC 2012 协议下的准确率。

    Jun, 2016

  • 通过增强单个图像进行无监督特征学习

    本文研究如何将数据增强应用于无监督特征学习，我们将各种变换应用于随机图像块，通过卷积神经网络分类学习到有用的特征表示，同时实验结果显示这一算法能在多个视觉数据集上取得较为有竞争性的分类结果。

    Dec, 2013

  • 对比检测的高效视觉预训练

    引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

    Mar, 2021

  • 大型自监督模型是强半监督学习器

    本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

    Jun, 2020

  • 自监督视觉表示学习再探讨

    该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习， 并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

    Jan, 2019

  • PointContrast: 无监督预训练 3D 点云理解

    本研究旨在促进 3D 深度学习表示学习的研究，重点关注高级场景理解任务，使用统一的三元组架构、源数据集和对比损失进行无监督预训练，对室内和室外、真实和合成数据集的 6 个不同基准进行分割和检测，取得了鼓舞性的结果，表明学习到的表示可以在不同领域推广使用，并且与监督的预训练的改善程度相似，建议未来的努力应该更加注重扩充数据收集而非详细标注。

    Jul, 2020

  • 在无监督未筛选图像上进行预训练使视觉模型更健壮和公正

    通过自监督学习方法，针对各种来源、无需数据预处理的数十亿张随机图片进行训练，生成可以识别物体、风格、地理位置等信息的模型，并对其公平性、偏差等进行了多角度验证，证明其表现优异、不会对数据进行歧视和危害。

    Feb, 2022

  • 高效条件预训练用于迁移学习

    提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

    Nov, 2020

  • 重新思考预训练和自训练

    在计算机视觉中，自我训练是一种使用额外数据的替代方法，与常用的预训练模型初始化方法相比具有更强的通用性和灵活性，并提供了新的见解，包括：1）更强的数据增强和更多标记数据会进一步降低预训练的价值，2）自我训练在低数据和高数据环境下使用更强的数据增强时都有帮助，3）在预训练有效的情况下，自我训练能够进一步提高对象检测的准确性。

    Jun, 2020