Oct, 2020

即使没有批量统计数据，BYOL 仍然有效

PDF
TL;DR本研究提出 Bootstrap Your Own Latent (BYOL) 作为一种自监督学习方法，用于图像表示学习，并探讨与批归一化 (batch normalization) 的关系。实验结果表明，使用批独立归一化可以取得与传统 BYOL 相当的性能，未必需要批归一化。
发现论文，激发创造
  • 自举型潜变量：自监督学习的一种新方法

    本文提出了一种新的自监督图像表示学习方法 Bootstrap Your Own Latent（BYOL），通过在线网络和目标网络相互交互和学习，从图像的增强视图中训练在线网络以预测在不同增强视图下相同图像的目标网络表示，并同时使用在线网络的缓慢移动平均更新目标网络，通过使用 ResNet-50 架构进行线性评估，BYOL 在 ImageNet 具有 74.3％的 top-1 分类准确率，在转移和半监督基准测试中 BYOL 表现与当前技术水平相当或更好。

    Jun, 2020

  • 基于自举潜变量的强鲁棒性表示学习的自标注优化

    研究 BYOL 中批标准化层的重要性，提出使用 CCSL 和 CSSL 进行相似图片对比的方法来改进 BYOL 的表征学习效果。在 STL10 数据集上使用 CSSL loss 训练 BYOL 框架可以取得较好的效果。

    Apr, 2022

  • 无监督表示学习的一致性聚类

    本研究探讨并观察到使用 BYOL 学习得到的特征对于聚类可能不是最佳的，提出了一种新颖的基于一致性聚类的损失函数，通过提出的方法进行训练可以提高聚类能力，并在一些流行的计算机视觉数据集上优于相似的聚类方法。

    Oct, 2020

  • BYOL 音频表示的自监督学习：用于通用音频表征

    本研究提出了一种基于自我监督学习的通用音频表示学习方法，采用 Bootstrap Your Own Latent (BYOL) for Audio 方法，通过标准化和数据增强技术，从单个音频段中学习音频表示，在各种下游任务中实现了最先进的结果。

    Mar, 2021

  • 自主引导你的方差

    Bootstrap Your Own Variance (BYOV) 结合 Bootstrap Your Own Latent (BYOL) 和 Bayes by Backprop (BBB) 方法，提供了关于模型不确定性的先验证据，改善了 BYOL 基线，并在各种扩充测试中展现更好的校准和可靠性。

    Dec, 2023

  • 压缩视觉表征

    本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。

    Sep, 2021

  • BYOL-Explore: 基于自举预测的探索

    BYOL-Explore 通过优化单一预测损失，在潜在空间中学习世界表示、世界动态和探索策略，实现在视觉复杂环境下的好奇心驱动探索。此方法可有效解决部分可观察连续行动的具有挑战性的难度探索基准和 Atari 游戏等任务。

    Jun, 2022

  • TriBYOL：用于自监督表示学习的三元组 BYOL

    该文提出了一种新的自监督学习方法，使用小批量更好地表示。通过三元组网络和三元视图损失的组合，提高了小批量自监督表示学习的性能，这种方法在多个数据集中都可以显著优于现有的自监督学习方法，为处理使用小批量高分辨率图像的实际问题提供了可行的解决方案。

    Jun, 2022

  • 额外正向样本促进医学图像的更好表示学习

    本文提出了一种新的方法，即使用 TracIn 作为实例基础的、计算有效的影响函数来为 BYOL 自我监督学习框架识别额外的正对，并通过 TracIn 估计成对 TracIn 来表示小批量中样本的相似度，以改善其表征学习能力，实验结果表明该方法可以在半监督和迁移学习设置下改善分类性能。

    May, 2023

  • 自监督 BYOL 在半监督医学图像识别中的整合

    通过将自监督学习与半监督模型结合，我们提出了一种创新方法以提高医学图像识别的能力。通过在未标记数据上进行预训练，然后将伪标记和标记数据集合并构建神经网络分类器，并通过迭代微调进行优化，实验证明我们的方法在医学图像识别的准确性方面优于现有方法。

    Apr, 2024