无监督预训练非策展数据图像特征

ICCVMay, 2019

无监督预训练非策展数据图像特征

Unsupervised Pre-Training of Image Features on Non-Curated Data

Mathilde Caron, Piotr Bojanowski, Julien Mairal, Armand Joulin

TL;DR本研究提出了一种新的无监督学习方法，利用自监督和聚类从大规模数据中捕获互补统计信息，通过对 YFCC100M 中 9600 万张图片的验证，本方法已经成为标准基准测试中无监督方法中最先进的方法之一，也展示了使用本方法预训练的 VGG-16 在 ImageNet 验证集上可以获得 74.9 % 的分类精度，比同一网络从头开始训练提高了 0.8%。

Abstract

Pre-training general-purpose visual features with convolutional neural networks without relying on annotations is a challenging and important task. Most recent efforts in unsupervised feature learning have focused on either small or highly curated datasets like ImageNet, whereas using uncurated raw datasets was found to decrease the feature quality when eval

unsupervised learning convolutional neural networks self-supervision clustering transfer learning

发现论文，激发创造

DINOv2: 无监督学习强韧可靠的视觉特征

本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。

Apr, 2023

在无监督未筛选图像上进行预训练使视觉模型更健壮和公正

通过自监督学习方法，针对各种来源、无需数据预处理的数十亿张随机图片进行训练，生成可以识别物体、风格、地理位置等信息的模型，并对其公平性、偏差等进行了多角度验证，证明其表现优异、不会对数据进行歧视和危害。

Feb, 2022

自监督野外视觉特征预训练

本研究探讨了自监督学习是否能够在没有监督的情况下从随机图片上进行学习。通过 SEER 模型的研究表明，自监督学习在真实环境中的表现优于监督学习方法。

Mar, 2021

通过预测图像旋转进行无监督表示学习

本研究提出利用 2D 旋转来训练卷积神经网络学习图像特征的无监督语义特征学习方法，并在演示和各种无监督特征学习基准测试中详尽评估该方法，在所有测试中均表现出明显的优异性能。

Mar, 2018

通过将图像嵌入文本主题空间进行自监督的视觉特征学习

本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。

May, 2017

从大规模的弱监督数据中学习视觉特征

本文探讨了在大型弱标记图像集上训练卷积网络以提升视觉特征表达的潜力，并证明了在 1 亿张 Flickr 图片与样本说明上训练出来的特征在多种视觉问题中表现良好，还能够妥善地捕捉单词之间的相似性，并学习不同语言之间的对应关系。

Nov, 2015

CurriculumNet: 大规模网络图像弱监督学习

该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

Aug, 2018

近期进展下的无监督预训练分析

本文针对卷积神经网络在物体识别方面的表现进行研究，探讨了无监督预训练在近期发展中是否仍具有重要的作用，并通过实验证实了无监督预训练对于样本中无监督数量比例较高时的效益，而当比例较低时不如数据增强、抑制过拟合等技术，此外文中还提到了色彩增强等方式更接近于先前最先进方法的表现。

Dec, 2014

CNN 特征在无监督分类方面表现出色

本文旨在探讨深度卷积神经网络特征对无监督问题的可迁移性，并研究不同的预训练卷积神经网络特征提取器对于图像集群聚类和细粒度分类问题的影响，提出结合预训练的 ImageNet 中的深度特征提取和经典的聚类算法管道的分类方法，在图像聚类方面优于现有算法。作者同时在机器人应用中验证了该方法，成功实现了一种智能物体分类和存储的方案。

Jul, 2017

SCAN：无需标签学习图像分类

本文提出一种两步法的图像无监督分类方法，通过自我监督学习获取具有语义意义的特征，然后将其作为可学习聚类方法的先验，达到优化图像聚类的效果。实验证明，该方法大幅优于现有最先进方法，并在大规模图像分类数据集 ImageNet 上取得了有希望的结果。

May, 2020