Sep, 2022

无对照相似度学习方法：仅需正例

PDF
TL;DR本文提出了一种基于 BYOL 和 Barlow Twins 的非对比 SSL 方法，其不需要负样本并专注于匹配正样本，该方法在时间序列数据的相似性问题及时序表示学习中表现更好（ARI = 0.49）并证明了其实用性。
similarity learningself-supervised learningtime series databyolbarlow twins
发现论文，激发创造
  • 不需要对比样本的自监督学习动态理解

    在自监督学习中，我们提出一种名为 DirectPred 的新方法，该方法直接基于输入的统计信息而非梯度训练来设置线性预测器。在 ImageNet 上，该方法的表现与采用 BatchNorm 的更复杂的两层非线性预测器相当，且在 300 个 epoch 的训练中优于线性预测器 2.5％（在 60 个 epoch 中达到 5％）。同时，通过研究非对比性 SSL 在简单线性网络中的非线性学习动态，我们为这些方法的学习和避免表征崩溃提供了理论洞察力。

    Feb, 2021

  • 自监督学习的核 KL 散度

    该研究通过重现核希尔伯特空间理解现有的许多非对比学习方法，提出了一种新的核 SSL 损失函数，可直接优化 RKHS 中的均值嵌入和协方差算子，并在 ImageNet 数据集上的线性评估设置下大幅优于现有技术方法。

    May, 2023

  • 对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

    本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

    May, 2022

  • 时间序列的自监督学习：对比或生成？

    自我监督学习 (SSL) 是一种有效的方法，可以从大规模无标签数据中学习表示，对时间序列分析显示出有希望的结果。本文从对比和生成两个主要流派对比研究了时间序列中的自我监督表示学习。我们首先介绍了对比和生成 SSL 的基本框架，并讨论了如何获得指导模型优化的监督信号。然后，我们分别为每种类型实现了经典算法 (SimCLR vs. MAE)，并在公平的环境中进行了比较分析。我们的结果提供了每种方法的优势和劣势的见解，并为选择合适的 SSL 方法提供了实用的建议。我们还讨论了我们研究结果对更广泛的表示学习领域的影响，并提出了未来的研究方向。所有的代码和数据都在 https://github.com/DL4mHealth/SSL_Comparison 发布。

    Mar, 2024

  • 对比自监督学习与非对比自监督学习之间的二元性

    本文探讨了施加对比方法与协方差为基础的非对比方法的理论相似性，说明在合理的假设下它们是等效的。作者介绍了一些改进和变化，证明了这种理论结果，提出了更好的网络设计和超参数调整，可以让不同的 SOTA 方法更好地融合，以建立更好的自监督学习方法。

    Jun, 2022

  • 非对比性孪生表示学习中的崩溃理解

    通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。

    Sep, 2022

  • 基于插值的对比学习用于少标签半监督学习

    提出了一种基于插值方法的半监督学习算法来解决使用一些标签的数据集时一致性正则化方法的性能问题，并设计了一种新型对比损失来引导学习网络嵌入样本，实现更好的边界决策能力，通过实验证明，与现有算法相比，该算法可提高分类准确率 5.3% 以上。

    Feb, 2022

  • 数据有效对比自监督学习：简单样本对学习最有帮助

    该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

    Feb, 2023

  • 有限标注医学图像分割的全局和局部特征的对比学习

    本文介绍了一种利用自监督学习和对比学习实现的影像分割技术，该技术可以在大量没有标注数据的情况下学习，并且在三个磁共振成像数据集上验证了其有效性。

    Jun, 2020

  • 针对虚假阴性和类别不平衡的时间序列对比学习

    利用图结构和少标记数据执行半监督一致性分类，从而增强少数类的代表性，解决时间序列对比学习中的假阴性和类别不平衡问题。

    Dec, 2023