Oct, 2020

无监督表示学习的一致性聚类

PDF
TL;DR本研究探讨并观察到使用 BYOL 学习得到的特征对于聚类可能不是最佳的，提出了一种新颖的基于一致性聚类的损失函数，通过提出的方法进行训练可以提高聚类能力，并在一些流行的计算机视觉数据集上优于相似的聚类方法。
deep clusteringunsupervised representation learningbyolself-supervised image classificationconsensus clustering
发现论文，激发创造
  • 自举型潜变量：自监督学习的一种新方法

    本文提出了一种新的自监督图像表示学习方法 Bootstrap Your Own Latent（BYOL），通过在线网络和目标网络相互交互和学习，从图像的增强视图中训练在线网络以预测在不同增强视图下相同图像的目标网络表示，并同时使用在线网络的缓慢移动平均更新目标网络，通过使用 ResNet-50 架构进行线性评估，BYOL 在 ImageNet 具有 74.3％的 top-1 分类准确率，在转移和半监督基准测试中 BYOL 表现与当前技术水平相当或更好。

    Jun, 2020

  • 即使没有批量统计数据，BYOL 仍然有效

    本研究提出 Bootstrap Your Own Latent (BYOL) 作为一种自监督学习方法，用于图像表示学习，并探讨与批归一化 (batch normalization) 的关系。实验结果表明，使用批独立归一化可以取得与传统 BYOL 相当的性能，未必需要批归一化。

    Oct, 2020

  • 基于自举潜变量的强鲁棒性表示学习的自标注优化

    研究 BYOL 中批标准化层的重要性，提出使用 CCSL 和 CSSL 进行相似图片对比的方法来改进 BYOL 的表征学习效果。在 STL10 数据集上使用 CSSL loss 训练 BYOL 框架可以取得较好的效果。

    Apr, 2022

  • BYOL 音频表示的自监督学习：用于通用音频表征

    本研究提出了一种基于自我监督学习的通用音频表示学习方法，采用 Bootstrap Your Own Latent (BYOL) for Audio 方法，通过标准化和数据增强技术，从单个音频段中学习音频表示，在各种下游任务中实现了最先进的结果。

    Mar, 2021

  • 压缩视觉表征

    本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。

    Sep, 2021

  • 自监督 BYOL 在半监督医学图像识别中的整合

    通过将自监督学习与半监督模型结合，我们提出了一种创新方法以提高医学图像识别的能力。通过在未标记数据上进行预训练，然后将伪标记和标记数据集合并构建神经网络分类器，并通过迭代微调进行优化，实验证明我们的方法在医学图像识别的准确性方面优于现有方法。

    Apr, 2024

  • 基于自举方法的骨架动作识别表示学习

    本文研究了自监督表示学习在三维骨架动作识别中的应用，提出了一种包括两个不对称变换管道的数据增强策略和一种多视角采样方法，利用无标签样本从更宽的网络进行知识蒸馏，实验表明该方案在 NTU-60 和 NTU-120 数据集上表现优于当前的半监督方法和线性评估基准。

    Feb, 2022

  • 通过建立共识进行聚类的表示学习

    本文提出了一种使用一致性原则的无监督表示学习算法 ConCURL，通过综合考虑共识、示例和种群三种一致性来实现对图像的聚类，并在四个数据集上实现了比现有方法更好的聚类性能。

    May, 2021

  • 额外正向样本促进医学图像的更好表示学习

    本文提出了一种新的方法，即使用 TracIn 作为实例基础的、计算有效的影响函数来为 BYOL 自我监督学习框架识别额外的正对，并通过 TracIn 估计成对 TracIn 来表示小批量中样本的相似度，以改善其表征学习能力，实验结果表明该方法可以在半监督和迁移学习设置下改善分类性能。

    May, 2023

  • 自主引导你的方差

    Bootstrap Your Own Variance (BYOV) 结合 Bootstrap Your Own Latent (BYOL) 和 Bayes by Backprop (BBB) 方法，提供了关于模型不确定性的先验证据，改善了 BYOL 基线，并在各种扩充测试中展现更好的校准和可靠性。

    Dec, 2023