Feb, 2022

在无监督未筛选图像上进行预训练使视觉模型更健壮和公正

PDF
TL;DR通过自监督学习方法，针对各种来源、无需数据预处理的数十亿张随机图片进行训练，生成可以识别物体、风格、地理位置等信息的模型，并对其公平性、偏差等进行了多角度验证，证明其表现优异、不会对数据进行歧视和危害。
self-supervised learningobject-centric featureslarge-scale image trainingmodel performancebias and fairness
发现论文，激发创造
  • DINOv2: 无监督学习强韧可靠的视觉特征

    本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。

    Apr, 2023

  • 无监督预训练非策展数据图像特征

    本研究提出了一种新的无监督学习方法，利用自监督和聚类从大规模数据中捕获互补统计信息，通过对 YFCC100M 中 9600 万张图片的验证，本方法已经成为标准基准测试中无监督方法中最先进的方法之一，也展示了使用本方法预训练的 VGG-16 在 ImageNet 验证集上可以获得 74.9 % 的分类精度，比同一网络从头开始训练提高了 0.8%。

    May, 2019

  • 自监督野外视觉特征预训练

    本研究探讨了自监督学习是否能够在没有监督的情况下从随机图片上进行学习。通过 SEER 模型的研究表明，自监督学习在真实环境中的表现优于监督学习方法。

    Mar, 2021

  • 通过将图像嵌入文本主题空间进行自监督的视觉特征学习

    本文提出了一种利用自由可得的多模态内容进行无人监督计算机视觉算法训练的方法，通过挖掘大规模的多模态文档语料库中的语义结构进行话题建模，训练卷积神经网络来预测图像最可能出现为插图的语义上下文，有效地学习了区分性视觉特征，其实验结果表明具有比近期的自监督或自然监督方法更好的图像分类、物体检测和多模态检索的性能。

    May, 2017

  • 启发式视觉预训练的自监督和有监督多任务学习

    提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

    Oct, 2023

  • 通过无监督预训练学习的图像表示包含类人偏差

    本文通过研究基于大规模未标记图像数据的机器学习方法，并发现其可能对种族，性别，体重，残疾和少数种族存在的偏见和刻板印象进行了分类和嵌入，从而证明了这些模型可能会自动学习社会偏见。

    Oct, 2020

  • 大型自监督模型是强半监督学习器

    本文研究如何通过无监督预训练和有标签数据微调相结合，使用大型深度神经网络，在少量标签的情况下实现半监督学习。该方法在 ImageNet 数据集上实现了 10 倍效率提升，在只有 1% 标签的情况下，使用 ResNet-50 模型获得了 73.9% 的 top-1 准确率。

    Jun, 2020

  • 通过预测图像旋转进行无监督表示学习

    本研究提出利用 2D 旋转来训练卷积神经网络学习图像特征的无监督语义特征学习方法，并在演示和各种无监督特征学习基准测试中详尽评估该方法，在所有测试中均表现出明显的优异性能。

    Mar, 2018

  • CurriculumNet: 大规模网络图像弱监督学习

    该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

    Aug, 2018

  • 基于大规模生成模型的无标签物体分割

    本文介绍了无监督学习在目标分割上的应用，实验表明运用最近的无监督生成式对抗网络可以实现较高质量的前景 / 背景像素分割且优于其它无监督方法。

    Jun, 2020