无对比自监督学习中预测头机制
我们的研究表明,非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度,并且我们还设计了一个更简单、更高效的算法 DirectCopy,其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集,表现良好。
Oct, 2021
在自监督学习中,我们提出一种名为 DirectPred 的新方法,该方法直接基于输入的统计信息而非梯度训练来设置线性预测器。在 ImageNet 上,该方法的表现与采用 BatchNorm 的更复杂的两层非线性预测器相当,且在 300 个 epoch 的训练中优于线性预测器 2.5%(在 60 个 epoch 中达到 5%)。同时,通过研究非对比性 SSL 在简单线性网络中的非线性学习动态,我们为这些方法的学习和避免表征崩溃提供了理论洞察力。
Feb, 2021
通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制,提供了稳定机制的框架,论证了这些不同的自监督学习技术在隐式上优化类似的目标函数,同时提供数学和经验数据支持。
Feb, 2024
本文介绍了一种使用 BYOL 自我监督学习方法的异质图神经网络模型,通过对网络模型和元路径视角进行高层表达来解决异质图生成高质量对的困难问题,并在实际数据集上展示了良好的性能。
Jan, 2022
自监督学习(SSL)是从无标签数据中提取有价值表示的一种有前途的方法,其中对比学习是一种成功的 SSL 方法,其目标是将正例拉近而将负例推开。通过实证分析和理论探究,我们揭示了投影头的内部机制及其与维度崩溃现象的关系,我们的研究结果表明,投影头通过在投影子空间中进行对比损失来提高表示的质量。因此,我们提出了一种假设,即在最小化一批数据的对比损失时,仅有部分特征是必要的。理论分析进一步表明,稀疏的投影头可以增强泛化能力,这导致我们引入了 SparseHead - 一种有效约束投影头稀疏性的正则化项,并可以无缝集成到任何自监督学习(SSL)方法中。我们的实验结果验证了 SparseHead 的有效性,证明了其改善现有对比方法性能的能力。
Jul, 2023
本论文研究了自监督学习的非对比方法,通过构建 DirectPred 理论框架,分析了线性网络的表示学习动态,并通过共轭积的方法提供了一个显式的方差规则机制,提出了一种新的各向同性损失函数,并在 CIFAR-10 和 STL-10 数据集上证明了理论发现的正确性。
Dec, 2022
对于提取高质量表示的有效技术是在训练期间在编码器上方添加投影头部,然后丢弃它并使用预投影表示。本研究通过理论解释揭示了这种技术成功的原因,探索了低层特征表示规范化和非线性相互作用对模型性能的影响,并证明了这种机制如何提高有监督对比学习和有监督学习中的鲁棒性。
Mar, 2024
本研究针对自监督学习提供了首个理论分析,其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现,当模型具有有限的容量时,对比表示将恢复与模型结构兼容的某些特殊聚类结构,但忽略数据分布中的许多其他聚类结构,从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布,并提供实证证据来支持该理论。
Nov, 2022
本研究提出 Bootstrap Your Own Latent (BYOL) 作为一种自监督学习方法,用于图像表示学习,并探讨与批归一化 (batch normalization) 的关系。实验结果表明,使用批独立归一化可以取得与传统 BYOL 相当的性能,未必需要批归一化。
Oct, 2020
通过对 SimSiam 两个非对比损失方法进行实证分析,研究发现 SimSiam 对数据集规模和模型大小非常敏感,并提出用崩溃度量来衡量降维崩溃的程度,进而预测下游任务性能。同时,采用持续学习模式作为规范器可以预防模型的崩溃,并提出一种持续和多轮训练的混合方式,该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。
Sep, 2022