Oct, 2022

通过排名评估预训练的自监督表示在下游任务中的表现

PDF
TL;DR本研究提出了一种简单的无监督准则 RankMe 用于衡量 JE-SSL 表示学习的有效性，具备不需要标签，简单且无需调参等好处，可以在不依赖标签的情况下评估性能并选择最优调参方案。
self-supervised learningrankmeeffective rankhyperparameter selectionunsupervised criterion
发现论文，激发创造
  • 无监督嵌入质量评估

    研究了评估深度神经网络自监督学习中表示质量的多种方法，包括信息嵌入量、线性可分性等，通过实验结果发现了可以无监督评估嵌入质量的方法。

    May, 2023

  • LiDAR: 联合嵌入式 SSL 架构中的线性探测性能感知

    我们引入了 LiDAR（线性判别分析排名），这是一种度量 JE 架构中表示质量的指标，能够优于基于排名的方法，并具有预测优化超参数的强大能力。

    Dec, 2023

  • 自监督视觉表示学习的堆叠联合嵌入架构

    本文介绍了使用堆叠式联合嵌入架构（JEA）来学习高度可分离的语义层次表示的方法，从而产生表现出更具独特的语义概念的表示空间，证明了其在语义分类上的有效性。

    May, 2023

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 核区联合嵌入自监督学习

    该研究旨在将基于已知或构建样本间关系的现代自监督学习方法扩展到基于核方法的算法，并针对对比损失函数和非对比损失函数导出最优输出表示形式，从而在核空间中通过线性映射构建嵌入，产生一个新的表示空间，分析其在小数据集上的表现并获得其在下游任务上的理论洞见。

    Sep, 2022

  • 自监督学习中不需要数据增强

    本研究探讨在大规模数据集下只使用裁剪而不使用调整大小的数据增强可得到强大的图像表示，并达到最先进的结果，同时讨论计算约束对实验深度学习研究结果的影响。

    Jun, 2024

  • 使用弱数据增强进行关系自监督学习的 ReSSL 算法

    本文提出一种新的自监督学习方法 —— 关系自监督学习 (ReSSL) 框架，通过建模不同实例之间的关系来学习表示，采用成对相似度的锐化分布作为关系度量来匹配不同增强的特征向量，实验结果表明我们的方法在性能和训练效率方面显著优于先前的最先进算法。

    Jul, 2021

  • 深度半监督学习算法的实际评估

    通过实现多种常用的 SSL 技术并在一系列实验中进行测试，研究发现简单基线方法的表现通常被低估，而 SSL 方法对标记和未标记数据的敏感性不同，当未标记数据集包含类外示例时性能可能会显著下降，因此我们提供了一个公共代码重现平台以帮助实现 SSL 技术在实际应用中的可行性。

    Apr, 2018

  • 自监督学习的高效医学图像评估

    本研究提出了一种新颖有效的数据评估策略（EXAMINE 分数），通过自监督学习网络提取有用的潜在表示来排名非标记医学图像数据的质量，以便在成本高昂的标记过程中选择最有价值的数据，大大提高了数据标记的效率和准确性。

    Sep, 2022

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022