自监督学习的核 KL 散度

May, 2023

Kernel-SSL: Kernel KL Divergence for Self-supervised Learning

Yifan Zhang, Zhiquan Tan, Jingqin Yang, Yang Yuan

TL;DR该研究通过重现核希尔伯特空间理解现有的许多非对比学习方法，提出了一种新的核 SSL 损失函数，可直接优化 RKHS 中的均值嵌入和协方差算子，并在 ImageNet 数据集上的线性评估设置下大幅优于现有技术方法。

Abstract

contrastive learning usually compares one positive anchor sample with lots of negative samples to perform self-supervised learning (SSL). Alternatively, non-→

contrastive learning self-supervised learning non-contrastive learning reproducing kernel hilbert space kernel-ssl

发现论文，激发创造

核区联合嵌入自监督学习

该研究旨在将基于已知或构建样本间关系的现代自监督学习方法扩展到基于核方法的算法，并针对对比损失函数和非对比损失函数导出最优输出表示形式，从而在核空间中通过线性映射构建嵌入，产生一个新的表示空间，分析其在小数据集上的表现并获得其在下游任务上的理论洞见。

Sep, 2022

对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

May, 2022

无对照相似度学习方法：仅需正例

本文提出了一种基于 BYOL 和 Barlow Twins 的非对比 SSL 方法，其不需要负样本并专注于匹配正样本，该方法在时间序列数据的相似性问题及时序表示学习中表现更好（ARI = 0.49）并证明了其实用性。

Sep, 2022

核最大化依赖下的自主学习

本研究从统计相关性的角度探讨自我监督学习方法，提出了一种基于 Hilbert-Schmidt 独立性准则（SSL-HSIC）的自我监督学习方法，该方法最大化与图像表示转换和图像身份的相关性，并将那些表示的核化方差最小化。实验表明，该方法在 ImageNet 数据集上的表现可以匹敌当前的最佳方法。

Jun, 2021

提高自监督学习的算法、模型和数据效率

通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。

Apr, 2024

双重深度网络的自监督学习理解

提出了一种新的理论框架来理解对比自监督学习方法，该方法采用双重 ReLU 网络（例如 SimCLR）。我们证明了每个 SGD 更新中的权重是由协方差算子更新的，并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReLU 网络的隐藏层学习了该模型的潜变量，我们总结了通过对比自监督学习的初始随机选择法放大而形成的层次化特征。

Oct, 2020

核方法的非参数表示学习

使用基于核函数的自监督学习和自编码器模型进行表示学习，引入新的表示定理并通过实验评估了这些方法在小数据环境和与神经网络模型的比较中的性能。

Sep, 2023

FroSSL: 自监督学习的 Frobenius 范数最小化

自监督学习（SSL）是一种越来越流行的表示学习范例。我们提出了 FroSSL 目标函数，通过最小化协方差 Frobenius 范数以避免坍缩和最小化均方误差以实现增强不变性，从而比其他 SSL 方法更快地收敛，并在各种数据集上展示了竞争性表示学习的能力。

Oct, 2023

大多数自监督学习方法背后的共同稳定性机制

通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

Feb, 2024

非对比性孪生表示学习中的崩溃理解

通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。

Sep, 2022