Dec, 2023

用混合样本对 Barlow 双胞胎防止过拟合

PDF
TL;DR通过引入线性插值样本，Mixed Barlow Twins 旨在改善 Barlow Twins 训练过程中的样本交互，从而有效减轻特征过拟合问题并进一步提高 CIFAR-10、CIFAR-100、TinyImageNet、STL-10 和 ImageNet 数据集的下游任务性能。
self-supervised learningbarlow twinsfeature redundancydownstream task performancesample interaction
发现论文，激发创造
  • 巴洛双胞胎：基于冗余减少的自监督学习

    提出了一种名为 Barlow Twins 的自监督学习方法，通过在两个相同的网络中输入扭曲版本的样本并测量它们输出的相关性矩阵，使嵌入向量在保持相似性的同时最小化它们之间的冗余。该方法在低数据范围内的半监督分类上优于以前的方法，并对于使用线性分类器头部的 ImageNet 分类和分类与目标检测的转移任务与当前最先进的方法相媲美。

    Mar, 2021

  • Graph Barlow Twins: 一种用于图的自监督表示学习框架

    提出一种基于自我监督学习的图形表示学习框架 (Graph Barlow Twins)，采用基于互相关的损失函数，不需要负样本，并且不依赖于非对称神经网络结构 (BGRL)，能够在短时间内实现与最佳自我监督方法和完全监督方法相媲美的结果。

    Jun, 2021

  • 解决多视角表示学习中的样本效率问题

    根据对 BarlowTwins 和 VICReg 损失的隐含偏差的理论洞察，我们提供了更具原则性的建议，指导非对比自监督学习方法的发展，并推荐使用低维度的投影器头和多个数据增强来提高样本和计算效率。

    Dec, 2023

  • 关于连接贝洛双胞胎与无负样本对比学习的注记

    本研究将 Barlow Twins 方法的算法设计与 Hilbert-Schmidt 独立准则（HSIC）联系起来，并将其作为一种不需要负样本的对比学习方法，通过这个视角，我们认为 Barlow Twins 提出了一种可能性，即将自监督学习思想的两大流派：非对比和对比方法结合起来，这在避免与非对比方法一样需要大型训练批次和负样本配对以及避免对比方法的对称网络设计等方面发挥了最佳实践的优势。

    Apr, 2021

  • SSL 交互作用：扩充、归纳偏差，与泛化

    本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

    Feb, 2023

  • 自监督集合表示学习用于无监督元学习

    通过合成样本，提取特征和目标特征之间的均方误差来研究自监督学习中数据集蒸馏和特征提取的方法，并在转移学习中进行了验证。

    Oct, 2023

  • 基于插值的对比学习用于少标签半监督学习

    提出了一种基于插值方法的半监督学习算法来解决使用一些标签的数据集时一致性正则化方法的性能问题，并设计了一种新型对比损失来引导学习网络嵌入样本，实现更好的边界决策能力，通过实验证明，与现有算法相比，该算法可提高分类准确率 5.3% 以上。

    Feb, 2022

  • 数据有效对比自监督学习：简单样本对学习最有帮助

    该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

    Feb, 2023

  • 观点可能是误导性的：通过特征空间增强改进的 SSL

    我们探索了虚假特征对自监督学习的影响，表明常用的数据增强方法可能导致图像空间中不想要的不变性。基于这些发现，我们提出了一种方法（LateTVG），通过修剪编码器的后续层来在预训练过程中消除虚假信息，这种方法在几个基准测试中超过了基线方法，而不需要在自监督学习中使用组或标签信息。

    May, 2024

  • FroSSL: 自监督学习的 Frobenius 范数最小化

    自监督学习（SSL）是一种越来越流行的表示学习范例。我们提出了 FroSSL 目标函数，通过最小化协方差 Frobenius 范数以避免坍缩和最小化均方误差以实现增强不变性，从而比其他 SSL 方法更快地收敛，并在各种数据集上展示了竞争性表示学习的能力。

    Oct, 2023