无监督嵌入质量评估
本文提出了一种基于随机子网络的人脸图像质量评估方法,使用嵌入变化来估计样本表示的健壮性和相应的图像质量,并在三个公开数据库上进行了交叉数据库评估。实验表明,此方法超过了其他学术和工业界的六种方法,表现出稳定的性能。
Mar, 2020
用预训练模型在未被训练的数据集上进行推理,探讨其嵌入是否能够形成有意义的聚类,评估自监督模型的嵌入,发现不同于监督模型,自监督模型在训练领域内表现更好,在训练领域外则相反,而微调模型则展示了相反的趋势,聚类提供了一种评估自监督学习表示的方法,可用于无真实标签的数据的聚类性能,UMAP 降维空间中的轮廓系数与聚类性能高度相关,可以被用作对没有真实标签的数据的聚类性能的替代指标。
Jun, 2024
该研究旨在将基于已知或构建样本间关系的现代自监督学习方法扩展到基于核方法的算法,并针对对比损失函数和非对比损失函数导出最优输出表示形式,从而在核空间中通过线性映射构建嵌入,产生一个新的表示空间,分析其在小数据集上的表现并获得其在下游任务上的理论洞见。
Sep, 2022
通过实现多种常用的 SSL 技术并在一系列实验中进行测试,研究发现简单基线方法的表现通常被低估,而 SSL 方法对标记和未标记数据的敏感性不同,当未标记数据集包含类外示例时性能可能会显著下降,因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。
Apr, 2018
本文研究了自监督学习(SSL)模型的表征质量,并提出了一种将表现力和可学习性作为评估依据的方法。 作者将内在维度(ID)用于评估表现力并引入了聚类可学习性(CL)来评估可学习性。作者发现,将 CL 和 ID 组合成单个预测器(CLID)比其他竞争的最近的评估方案更能与分布内模型的表现力相关联,并在多个分类任务上取得了显着的性能提升。
Jun, 2022
本文深入分析了自监督学习的机制以及其对表示学习的影响,揭示了自监督学习在样本聚类方面的潜在驱动作用,同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系,并且这种对齐关系随着训练和网络深度的加深而不断增强,这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。
May, 2023
提出了一种基于数据效率和简单监督任务的评估方法,系统评估了一些词嵌入模型,并得出了新的性能特征见解,例如词相似性和类比常常用非线性编码,质疑了基于余弦相似度的无监督评估方法。
Feb, 2017
本文研究了如何利用无监督学习方法训练神经网络,通过优化局部聚合的度量方式实现相似的数据实例在嵌入空间中聚集在一起,从而实现在大规模视觉识别领域中的非监督迁移学习,实现了 ImageNet、Places 205 和 PASCAL VOC 数据集中物体识别、场景识别和物体检测方面的最佳性能。
Mar, 2019
本研究提出了一种无监督图像分类框架,旨在通过不使用嵌入聚类来简化和优化深度聚类算法,并在 ImageNet 数据集上进行了实验。同时验证了其在多标签图像分类,目标检测,语义分割等任务的泛化性,以及其在迁移学习中的有效性。
Jun, 2020