Jun, 2022

表达能力和学习能力：自监督学习评估的统一视角

PDF
TL;DR本文研究了自监督学习（SSL）模型的表征质量，并提出了一种将表现力和可学习性作为评估依据的方法。 作者将内在维度（ID）用于评估表现力并引入了聚类可学习性（CL）来评估可学习性。作者发现，将 CL 和 ID 组合成单个预测器（CLID）比其他竞争的最近的评估方案更能与分布内模型的表现力相关联，并在多个分类任务上取得了显着的性能提升。
self-supervised learningexpressivenesslearnabilityintrinsic dimensioncluster learnability
发现论文，激发创造
  • 无监督嵌入质量评估

    研究了评估深度神经网络自监督学习中表示质量的多种方法，包括信息嵌入量、线性可分性等，通过实验结果发现了可以无监督评估嵌入质量的方法。

    May, 2023

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 理解非线性自监督学习的表示可学习性

    我们的研究是第一个准确分析非线性自监督学习模型学习结果的论文，通过模拟实验我们证明了非线性自监督学习模型可以同时捕捉标签相关特征和隐藏特征。

    Jan, 2024

  • DimCL: 提升自我监督学习的维度对比学习

    该研究论文提出了沿着维度方向进行对比学习（Dimensional Contrastive Learning，DimCL）的策略，以增强特征多样性并作为自主学习框架的正则化器，实验证明将 DimCL 融入自主学习框架能够在各种数据集和骨干架构上显著提高性能。

    Sep, 2023

  • 一个概率模型解释自监督表示学习

    自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

    Feb, 2024

  • 自监督模型的表示学习动态

    自监督学习是从无标签数据中学习表示的重要范例，本文通过研究 SSL 模型的学习动态，特别是通过最小化对比损失和非对比损失获得表示，提出了施加权重正交性约束的 SSL 目标函数，推导出了在 Grassmann 流形上使用梯度下降训练的 SSL 模型的精确（与网络宽度无关）学习动态，证明了无限宽度逼近的 SSL 模型与监督模型的神经切向核逼近有明显偏差，数值实验证明了理论发现的正确性，并讨论了所呈现结果为对比和非对比 SSL 的进一步理论分析提供了框架。

    Sep, 2023

  • 塑性优化的互补网络用于无监督连续学习

    通过训练专家网络和结合自适应回顾相位的方法来解决在多任务数据流上学习时的性能下降问题，该方法在少任务和多任务划分设置中优于其他无示例连续无监督表征学习方法，并且在半监督连续学习方面表现优于其他无示例半监督连续学习方法。

    Sep, 2023

  • 自监督学习模型在基于传感器的人类活动识别中的表征解释、分析和探索

    本文研究自监督学习在传感器人体活动识别中的应用，并分析了两个最近的自监督学习框架 SimCLR 和 VICReg 的深层表示，比较了监督和自监督模型对输入数据噪声的鲁棒性，并通过可解释性方法探索了 SSL 和监督表示中编码的性质。研究表明，自监督学习表示比监督模型更加鲁棒，但监督模型学习到的特征更加均匀且更好地编码了活动的性质。

    Apr, 2023

  • 表征学习中视觉概念的可学习性和可描述性的量化

    通过评估人类注释者作为分类器，本研究提出了视觉可学性和可描述性两个概念，用于量化任意图像分组（包括无监督分组）的可解释性，并提出了一种类别级别的字幕生成系统来自动生成对视觉分组的描述，并使用可描述性度量将其与人类注释者进行比较。

    Oct, 2020

  • ArCL：通过增强鲁棒性表示来增强对比学习

    本文开发了一个理论框架以分析自我监督对比学习的可转移性，结果表明对比学习的下游表现在很大程度上取决于数据增强的选择，但对比学习无法学习域不变特征，即其可转移性受到限制。基于这些理论洞见，我们提出了一种新的方法 ArCL，它保证学习域不变特征，并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验，显示了 ArCL 显着提高了对比学习的可转移性。

    Mar, 2023