Apr, 2022

基于自举潜变量的强鲁棒性表示学习的自标注优化

PDF
TL;DR研究 BYOL 中批标准化层的重要性，提出使用 CCSL 和 CSSL 进行相似图片对比的方法来改进 BYOL 的表征学习效果。在 STL10 数据集上使用 CSSL loss 训练 BYOL 框架可以取得较好的效果。
batch normalisationbootstrap your own latentrepresentation learningcross-cosine similarity losscross-sigmoid similarity loss
发现论文，激发创造
  • 即使没有批量统计数据，BYOL 仍然有效

    本研究提出 Bootstrap Your Own Latent (BYOL) 作为一种自监督学习方法，用于图像表示学习，并探讨与批归一化 (batch normalization) 的关系。实验结果表明，使用批独立归一化可以取得与传统 BYOL 相当的性能，未必需要批归一化。

    Oct, 2020

  • 自举型潜变量：自监督学习的一种新方法

    本文提出了一种新的自监督图像表示学习方法 Bootstrap Your Own Latent（BYOL），通过在线网络和目标网络相互交互和学习，从图像的增强视图中训练在线网络以预测在不同增强视图下相同图像的目标网络表示，并同时使用在线网络的缓慢移动平均更新目标网络，通过使用 ResNet-50 架构进行线性评估，BYOL 在 ImageNet 具有 74.3％的 top-1 分类准确率，在转移和半监督基准测试中 BYOL 表现与当前技术水平相当或更好。

    Jun, 2020

  • 无监督表示学习的一致性聚类

    本研究探讨并观察到使用 BYOL 学习得到的特征对于聚类可能不是最佳的，提出了一种新颖的基于一致性聚类的损失函数，通过提出的方法进行训练可以提高聚类能力，并在一些流行的计算机视觉数据集上优于相似的聚类方法。

    Oct, 2020

  • 压缩视觉表征

    本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。

    Sep, 2021

  • 额外正向样本促进医学图像的更好表示学习

    本文提出了一种新的方法，即使用 TracIn 作为实例基础的、计算有效的影响函数来为 BYOL 自我监督学习框架识别额外的正对，并通过 TracIn 估计成对 TracIn 来表示小批量中样本的相似度，以改善其表征学习能力，实验结果表明该方法可以在半监督和迁移学习设置下改善分类性能。

    May, 2023

  • 自主引导你的方差

    Bootstrap Your Own Variance (BYOV) 结合 Bootstrap Your Own Latent (BYOL) 和 Bayes by Backprop (BBB) 方法，提供了关于模型不确定性的先验证据，改善了 BYOL 基线，并在各种扩充测试中展现更好的校准和可靠性。

    Dec, 2023

  • 基于自举方法的骨架动作识别表示学习

    本文研究了自监督表示学习在三维骨架动作识别中的应用，提出了一种包括两个不对称变换管道的数据增强策略和一种多视角采样方法，利用无标签样本从更宽的网络进行知识蒸馏，实验表明该方案在 NTU-60 和 NTU-120 数据集上表现优于当前的半监督方法和线性评估基准。

    Feb, 2022

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • 基于引导法的异构图神经网络交叉视角自监督学习

    本文介绍了一种使用 BYOL 自我监督学习方法的异质图神经网络模型，通过对网络模型和元路径视角进行高层表达来解决异质图生成高质量对的困难问题，并在实际数据集上展示了良好的性能。

    Jan, 2022

  • BYOL 音频表示的自监督学习：用于通用音频表征

    本研究提出了一种基于自我监督学习的通用音频表示学习方法，采用 Bootstrap Your Own Latent (BYOL) for Audio 方法，通过标准化和数据增强技术，从单个音频段中学习音频表示，在各种下游任务中实现了最先进的结果。

    Mar, 2021