该研究提出了一种改进的 PixelHop++ 方法,结合了连续子空间学习和通道鉴别特征提取技术,可以控制学习模型的大小并提高图像分类性能。
Feb, 2020
本文深入分析了自监督学习的机制以及其对表示学习的影响,揭示了自监督学习在样本聚类方面的潜在驱动作用,同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系,并且这种对齐关系随着训练和网络深度的加深而不断增强,这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。
May, 2023
我们通过引入额外的熵损失构建了一个分类器,用于对来自已知和未知类别的数据进行分类,从而改进了现有的半监督学习方法在已知和未知类别的分类中的表现。通过在 CIFAR-100 和 STL-10 两个基准图像分类数据集上的实验证明,我们相对于现有的 SSL、开放集合 SSL 和开放世界 SSL 方法取得了巨大的改进。当标记数据非常有限(每个类别 1-25 个标记示例)时,进步最为显著。
Aug, 2023
本研究介绍了新方法 LEWEL,该方法通过适应性地聚合特征的空间信息来对齐嵌入向量,并达到更好的特征学习。该方法利用投影头将其解释为每个像素的投影,从原始特征预测一组空间对齐映射,通过这些对齐映射按空间加权聚合特征,因此得到了一系列对齐的嵌入向量。在图像级和密集预测上,LEWEL 都有显着改善表现。
Mar, 2022
本文介绍了近期基于 DNN 的点云 SSL 的综述,包括定义、动机、背景、基于几种常见 Task-agnostic 预训练的创新分类方法,以及对于基准数据集的实验结果总结,最终给出了针对当前点云 SSL 限制的改进和未来研究方向。
本篇论文探究了自监督学习在 3D 感知问题的领域自适应中的应用,通过提出基于形变重构的预训练任务以及一种名为 PCM 的新颖训练流程,对分类和分割的领域适应数据集进行了评估,取得了相较于现有和基准方法的巨大改进。
Mar, 2020
本文针对百万数据点的大规模子空间聚类问题提出了可学习的子空间聚类范式,使用可学习的参数函数将高维子空间划分为低维子空间,取代了传统编码模型的高成本,提高了聚类效率。通过对大规模数据集的实验验证,该模型在效率和准确性方面均优于现有的相关方法。
Apr, 2020
本文提出了一种利用空间与时间正对数据的自监督学习策略,该方法包括了点聚集学习和无监督物体跟踪的方法,并通过对两个大规模 LiDAR 数据集的自监督训练和模型迁移得出:该方法在点云分割领域胜过现有的、只利用空间信息或忽略时序性质的自监督学习方法。
Mar, 2023
本文综述了 Small Sample Learning (SSL) 的现有技术,并分为概念学习和经验学习两大类来介绍。此外,本文还提供了一些神经科学证据来阐明整个 SSL 体系的合理性以及与人类学习过程的关系,并探讨了该领域的主要挑战和未来研究方向。
Aug, 2018
该研究发现对于对比自监督 (SLL) 来说,那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外,研究还表明,对正在进行的任务性能不会产生负面影响的情况下,可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。
Feb, 2023