巴洛双胞胎：基于冗余减少的自监督学习

ICMLMar, 2021

巴洛双胞胎：基于冗余减少的自监督学习

Barlow Twins: Self-Supervised Learning via Redundancy Reduction

Jure Zbontar, Li Jing, Ishan Misra, Yann LeCun, Stéphane Deny

TL;DR提出了一种名为 Barlow Twins 的自监督学习方法，通过在两个相同的网络中输入扭曲版本的样本并测量它们输出的相关性矩阵，使嵌入向量在保持相似性的同时最小化它们之间的冗余。该方法在低数据范围内的半监督分类上优于以前的方法，并对于使用线性分类器头部的 ImageNet 分类和分类与目标检测的转移任务与当前最先进的方法相媲美。

Abstract

self-supervised learning (SSL) is rapidly closing the gap with supervised methods on large computer vision benchmarks. A successful approach to SSL is to learn embeddings which are invariant to distortions of the

self-supervised learning embedding barlow twins large computer vision benchmarks semi-supervised classification

发现论文，激发创造

用混合样本对 Barlow 双胞胎防止过拟合

通过引入线性插值样本，Mixed Barlow Twins 旨在改善 Barlow Twins 训练过程中的样本交互，从而有效减轻特征过拟合问题并进一步提高 CIFAR-10、CIFAR-100、TinyImageNet、STL-10 和 ImageNet 数据集的下游任务性能。

Dec, 2023

Graph Barlow Twins: 一种用于图的自监督表示学习框架

提出一种基于自我监督学习的图形表示学习框架 (Graph Barlow Twins)，采用基于互相关的损失函数，不需要负样本，并且不依赖于非对称神经网络结构 (BGRL)，能够在短时间内实现与最佳自我监督方法和完全监督方法相媲美的结果。

Jun, 2021

解决多视角表示学习中的样本效率问题

根据对 BarlowTwins 和 VICReg 损失的隐含偏差的理论洞察，我们提供了更具原则性的建议，指导非对比自监督学习方法的发展，并推荐使用低维度的投影器头和多个数据增强来提高样本和计算效率。

Dec, 2023

虚拟嵌入和自一致性用于自监督学习

TriMix 是一种自我监督学习的新概念，通过数据线性插值生成虚拟嵌入，积极探索潜在的空间扩充，其提出的方法在自我监督学习和半监督学习任务中表现良好。

Jun, 2022

FroSSL: 自监督学习的 Frobenius 范数最小化

自监督学习（SSL）是一种越来越流行的表示学习范例。我们提出了 FroSSL 目标函数，通过最小化协方差 Frobenius 范数以避免坍缩和最小化均方误差以实现增强不变性，从而比其他 SSL 方法更快地收敛，并在各种数据集上展示了竞争性表示学习的能力。

Oct, 2023

对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

May, 2022

使用弱数据增强进行关系自监督学习的 ReSSL 算法

本文提出一种新的自监督学习方法 —— 关系自监督学习 (ReSSL) 框架，通过建模不同实例之间的关系来学习表示，采用成对相似度的锐化分布作为关系度量来匹配不同增强的特征向量，实验结果表明我们的方法在性能和训练效率方面显著优于先前的最先进算法。

Jul, 2021

自监督对比学习的几何理解

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

自监督学习的结构冗余的低秩逼近

通过无限数量的标记样本，本研究探究重建型 SSL 的数据生成机制以揭示其有效性，提出了完美线性近似的充分必要条件，并通过低秩因子分解来度量冗余分量的近似质量，并结合过量风险分析，在线性回归和岭回归设置下验证了 SSL 与有监督学习的比较。

Feb, 2024

双重深度网络的自监督学习理解

提出了一种新的理论框架来理解对比自监督学习方法，该方法采用双重 ReLU 网络（例如 SimCLR）。我们证明了每个 SGD 更新中的权重是由协方差算子更新的，并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReLU 网络的隐藏层学习了该模型的潜变量，我们总结了通过对比自监督学习的初始随机选择法放大而形成的层次化特征。

Oct, 2020