Jun, 2020

自举型潜变量：自监督学习的一种新方法

PDF
TL;DR本文提出了一种新的自监督图像表示学习方法 Bootstrap Your Own Latent（BYOL），通过在线网络和目标网络相互交互和学习，从图像的增强视图中训练在线网络以预测在不同增强视图下相同图像的目标网络表示，并同时使用在线网络的缓慢移动平均更新目标网络，通过使用 ResNet-50 架构进行线性评估，BYOL 在 ImageNet 具有 74.3％的 top-1 分类准确率，在转移和半监督基准测试中 BYOL 表现与当前技术水平相当或更好。
byolself-supervised learningneural networksimage representationaugmented views
发现论文，激发创造
  • 即使没有批量统计数据，BYOL 仍然有效

    本研究提出 Bootstrap Your Own Latent (BYOL) 作为一种自监督学习方法，用于图像表示学习，并探讨与批归一化 (batch normalization) 的关系。实验结果表明，使用批独立归一化可以取得与传统 BYOL 相当的性能，未必需要批归一化。

    Oct, 2020

  • 无监督表示学习的一致性聚类

    本研究探讨并观察到使用 BYOL 学习得到的特征对于聚类可能不是最佳的，提出了一种新颖的基于一致性聚类的损失函数，通过提出的方法进行训练可以提高聚类能力，并在一些流行的计算机视觉数据集上优于相似的聚类方法。

    Oct, 2020

  • 基于自举潜变量的强鲁棒性表示学习的自标注优化

    研究 BYOL 中批标准化层的重要性，提出使用 CCSL 和 CSSL 进行相似图片对比的方法来改进 BYOL 的表征学习效果。在 STL10 数据集上使用 CSSL loss 训练 BYOL 框架可以取得较好的效果。

    Apr, 2022

  • 基于自举方法的骨架动作识别表示学习

    本文研究了自监督表示学习在三维骨架动作识别中的应用，提出了一种包括两个不对称变换管道的数据增强策略和一种多视角采样方法，利用无标签样本从更宽的网络进行知识蒸馏，实验表明该方案在 NTU-60 和 NTU-120 数据集上表现优于当前的半监督方法和线性评估基准。

    Feb, 2022

  • 自主引导你的方差

    Bootstrap Your Own Variance (BYOV) 结合 Bootstrap Your Own Latent (BYOL) 和 Bayes by Backprop (BBB) 方法，提供了关于模型不确定性的先验证据，改善了 BYOL 基线，并在各种扩充测试中展现更好的校准和可靠性。

    Dec, 2023

  • BYOL 音频表示的自监督学习：用于通用音频表征

    本研究提出了一种基于自我监督学习的通用音频表示学习方法，采用 Bootstrap Your Own Latent (BYOL) for Audio 方法，通过标准化和数据增强技术，从单个音频段中学习音频表示，在各种下游任务中实现了最先进的结果。

    Mar, 2021

  • 压缩视觉表征

    本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。

    Sep, 2021

  • 自监督 BYOL 在半监督医学图像识别中的整合

    通过将自监督学习与半监督模型结合，我们提出了一种创新方法以提高医学图像识别的能力。通过在未标记数据上进行预训练，然后将伪标记和标记数据集合并构建神经网络分类器，并通过迭代微调进行优化，实验证明我们的方法在医学图像识别的准确性方面优于现有方法。

    Apr, 2024

  • 基于引导法的异构图神经网络交叉视角自监督学习

    本文介绍了一种使用 BYOL 自我监督学习方法的异质图神经网络模型，通过对网络模型和元路径视角进行高层表达来解决异质图生成高质量对的困难问题，并在实际数据集上展示了良好的性能。

    Jan, 2022

  • BYOL-Explore: 基于自举预测的探索

    BYOL-Explore 通过优化单一预测损失，在潜在空间中学习世界表示、世界动态和探索策略，实现在视觉复杂环境下的好奇心驱动探索。此方法可有效解决部分可观察连续行动的具有挑战性的难度探索基准和 Atari 游戏等任务。

    Jun, 2022