Jun, 2022

TriBYOL：用于自监督表示学习的三元组 BYOL

PDF
TL;DR该文提出了一种新的自监督学习方法，使用小批量更好地表示。通过三元组网络和三元视图损失的组合，提高了小批量自监督表示学习的性能，这种方法在多个数据集中都可以显著优于现有的自监督学习方法，为处理使用小批量高分辨率图像的实际问题提供了可行的解决方案。
self-supervised learningtriplet networksmall batch sizesrepresentation learningperformance
发现论文，激发创造
  • 即使没有批量统计数据，BYOL 仍然有效

    本研究提出 Bootstrap Your Own Latent (BYOL) 作为一种自监督学习方法，用于图像表示学习，并探讨与批归一化 (batch normalization) 的关系。实验结果表明，使用批独立归一化可以取得与传统 BYOL 相当的性能，未必需要批归一化。

    Oct, 2020

  • 自监督 BYOL 在半监督医学图像识别中的整合

    通过将自监督学习与半监督模型结合，我们提出了一种创新方法以提高医学图像识别的能力。通过在未标记数据上进行预训练，然后将伪标记和标记数据集合并构建神经网络分类器，并通过迭代微调进行优化，实验证明我们的方法在医学图像识别的准确性方面优于现有方法。

    Apr, 2024

  • 额外正向样本促进医学图像的更好表示学习

    本文提出了一种新的方法，即使用 TracIn 作为实例基础的、计算有效的影响函数来为 BYOL 自我监督学习框架识别额外的正对，并通过 TracIn 估计成对 TracIn 来表示小批量中样本的相似度，以改善其表征学习能力，实验结果表明该方法可以在半监督和迁移学习设置下改善分类性能。

    May, 2023

  • 自举型潜变量：自监督学习的一种新方法

    本文提出了一种新的自监督图像表示学习方法 Bootstrap Your Own Latent（BYOL），通过在线网络和目标网络相互交互和学习，从图像的增强视图中训练在线网络以预测在不同增强视图下相同图像的目标网络表示，并同时使用在线网络的缓慢移动平均更新目标网络，通过使用 ResNet-50 架构进行线性评估，BYOL 在 ImageNet 具有 74.3％的 top-1 分类准确率，在转移和半监督基准测试中 BYOL 表现与当前技术水平相当或更好。

    Jun, 2020

  • 基于自举潜变量的强鲁棒性表示学习的自标注优化

    研究 BYOL 中批标准化层的重要性，提出使用 CCSL 和 CSSL 进行相似图片对比的方法来改进 BYOL 的表征学习效果。在 STL10 数据集上使用 CSSL loss 训练 BYOL 框架可以取得较好的效果。

    Apr, 2022

  • 基于引导法的异构图神经网络交叉视角自监督学习

    本文介绍了一种使用 BYOL 自我监督学习方法的异质图神经网络模型，通过对网络模型和元路径视角进行高层表达来解决异质图生成高质量对的困难问题，并在实际数据集上展示了良好的性能。

    Jan, 2022

  • 基于自举方法的骨架动作识别表示学习

    本文研究了自监督表示学习在三维骨架动作识别中的应用，提出了一种包括两个不对称变换管道的数据增强策略和一种多视角采样方法，利用无标签样本从更宽的网络进行知识蒸馏，实验表明该方案在 NTU-60 和 NTU-120 数据集上表现优于当前的半监督方法和线性评估基准。

    Feb, 2022

  • 无监督表示学习的一致性聚类

    本研究探讨并观察到使用 BYOL 学习得到的特征对于聚类可能不是最佳的，提出了一种新颖的基于一致性聚类的损失函数，通过提出的方法进行训练可以提高聚类能力，并在一些流行的计算机视觉数据集上优于相似的聚类方法。

    Oct, 2020

  • 压缩视觉表征

    本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。

    Sep, 2021

  • 自监督表示学习低效性问题的解决

    本文研究了自监督学习中对比度学习的效率问题，提出了截断三元组的损失函数以同时解决聚类不足和聚类过度问题，并在多个基准测试中表示其优越性。

    Apr, 2021