核区联合嵌入自监督学习

Sep, 2022

Joint Embedding Self-Supervised Learning in the Kernel Regime

Bobak T. Kiani, Randall Balestriero, Yubei Chen, Seth Lloyd, Yann LeCun

TL;DR该研究旨在将基于已知或构建样本间关系的现代自监督学习方法扩展到基于核方法的算法，并针对对比损失函数和非对比损失函数导出最优输出表示形式，从而在核空间中通过线性映射构建嵌入，产生一个新的表示空间，分析其在小数据集上的表现并获得其在下游任务上的理论洞见。

Abstract

The fundamental goal of self-supervised learning (ssl) is to produce useful representations of data without access to any labels for classifying the data. Modern methods in →

self-supervised learning ssl kernel methods representation space downstream tasks

发现论文，激发创造

核方法的非参数表示学习

使用基于核函数的自监督学习和自编码器模型进行表示学习，引入新的表示定理并通过实验评估了这些方法在小数据环境和与神经网络模型的比较中的性能。

Sep, 2023

自监督学习的逆向工程

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

自监督学习的核 KL 散度

该研究通过重现核希尔伯特空间理解现有的许多非对比学习方法，提出了一种新的核 SSL 损失函数，可直接优化 RKHS 中的均值嵌入和协方差算子，并在 ImageNet 数据集上的线性评估设置下大幅优于现有技术方法。

May, 2023

自监督对比学习的几何理解

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

一个概率模型解释自监督表示学习

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

核保持嵌入的相似性学习

本文提出了一种新的相似性学习框架，通过最小化核矩阵的重构误差，而不是现有的重构数据的误差，来提取相似性信息，并在聚类任务中展示了明显的改进，而且该框架为其它相似性任务提供了包括高维数据映射至低维空间在内的一种新的基础。

Mar, 2019

对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

May, 2022

自监督学习对数据集失衡更具鲁棒性

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

连续自监督学习的挑战

本文研究了自我监督学习在连续流数据中的应用及其效率，提出了重放缓存与最小冗余样本的方法来增强学习。实验结果表明，这些方法可以有效提高表示学习的精度和鲁棒性，在非平稳的语义分布下也不容易出现灾难性遗忘。

Mar, 2022

无监督嵌入质量评估

研究了评估深度神经网络自监督学习中表示质量的多种方法，包括信息嵌入量、线性可分性等，通过实验结果发现了可以无监督评估嵌入质量的方法。

May, 2023