自监督学习的自动数据整理：一种基于聚类的方法

May, 2024

自监督学习的自动数据整理：一种基于聚类的方法

Automatic Data Curation for Self-Supervised Learning: A Clustering-Based Approach

Huy V. Vo, Vasil Khalidov, Timothée Darcet, Théo Moutakanni, Nikita Smetanin...

TL;DR自我监督特征是现代机器学习系统的基石，本文提出了一种基于聚类的自动化数据精选方法，通过在大规模和多样化的数据库上应用层次聚类和均衡采样的步骤，构建了大型、多样化且均衡的数据集，实验证明基于这种自动化精选的数据集训练得到的特征在三个不同领域的数据表现优于未精选数据的训练特征，且与手工精选数据的特征相当甚至更好。

Abstract

self-supervised features are the cornerstone of modern machine learning systems. They are typically pre-trained on data collections whose construction and curation typically require extensive human effort. This manual process has some limitations similar to those encountered in supervi

self-supervised features automatic curation high-quality datasets clustering-based approach uncurated data

发现论文，激发创造

Curator：使用自监督学习创建大规模策展标注数据集

本研究提出了一个名为 Curator 的自动化数据集筛选工具，利用自我监督、可扩缩的最近邻检索和主动学习等技术以及机器学习算法自主对未标记数据进行搜索，可大大缩短筛选数据集的时间。研究展示了 Curator 在卫星图像野火分类方面的应用，这也说明了 Curator 不仅适用于地球科学领域，且可以轻松应用于其他领域的问题解决。

Dec, 2022

增强型自监督聚类学习：应用于土地覆盖地图制作

通过聚类为自监督学习的前提任务，提出了一种用于土地覆盖映射的方法，通过所得聚类结构进行主动采样，提高映射准确性。

Aug, 2021

ACAV100M: 大规模数据集自动筛选方法应用于视听视频表征学习

本文提出了一种基于子集优化的自动数据集精选方法，目标是最大化视频中音频和视觉通道之间的互信息，证明此方法找到具有高音频 - 视觉对应性的视频，并展示我们的数据训练自我监督模型达到了与手动精选数据集相同的结果，最大的好处是可扩展性，我们发布了一个包含一亿个视频的 ACAV100M 数据集，它具有高音频 - 视觉对应性，非常适合用于自我监督学习。

Jan, 2021

无监督预训练非策展数据图像特征

本研究提出了一种新的无监督学习方法，利用自监督和聚类从大规模数据中捕获互补统计信息，通过对 YFCC100M 中 9600 万张图片的验证，本方法已经成为标准基准测试中无监督方法中最先进的方法之一，也展示了使用本方法预训练的 VGG-16 在 ImageNet 验证集上可以获得 74.9 % 的分类精度，比同一网络从头开始训练提高了 0.8%。

May, 2019

辨别式自监督学习方法综述

计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。

May, 2024

自监督聚类简化半监督学习

本文提出了一种将基于聚类的自监督方法转化为半监督学习的方法，通过引入一个多任务框架将监督学习和自监督学习结合，证明该方法在 CIFAR100 和 ImageNet 上的表现是最优的。

Jun, 2023

DINOv2: 无监督学习强韧可靠的视觉特征

本文提出了一种基于预训练和自监督方法的计算机视觉模型，该模型使用大量的数据自动构建一种多样的图像数据集，能够在各种任务和图像的情况下快速、高效地生成功能强大的视觉特征。

Apr, 2023

监督无监督学习

提出了一种框架，利用从一组有监督数据集获取的知识来处理新的无监督数据集，该框架可以减少无监督学习中的主观性并提供一种评估无监督算法的原则方法，在聚类方面，它可以帮助选择聚类数量和算法，去除异常值并从许多小数据集中学习共性特征，从而实现了零样本学习。

Sep, 2017

零样本主动学习基于自监督学习

提出了一种新的无关模型且无需迭代过程的主动学习方法，利用自监督学习的特征表示来进行数据注释以提高深度学习模型的泛化性能。

Jan, 2024

自动发现和学习新的视觉类别：基于排序统计学的方法

本文针对在一个图像集合中发现新类别的问题，提出结合自监督学习、排名统计和联合目标函数优化的方法，使用带标签和未标记数据训练数据表示模型，成功应用于标准分类基准测试中，显著优于现有的方法。

Feb, 2020