Dec, 2023

一种将自我监督聚类和能量模型相统一的贝叶斯方法

PDF
TL;DR通过贝叶斯分析，我们对最先进的自监督学习目标进行了研究，提出了一种从第一原理推导这些目标的标准化方法，并表明将自监督学习与基于似然的生成模型进行整合的自然方式。我们在集群自监督学习和能量模型的领域内验证了这一概念，并引入了一种新的下界，可可可靠地惩罚最重要的失败模式。我们的理论发现通过对合成和真实世界数据的实验证实，包括 SVHN、CIFAR10 和 CIFAR100，因此显示我们的目标函数能够在聚类、生成和外分布检测性能方面远远优于现有的自监督学习策略。我们还证明 GEDI 可以集成到神经符号框架中，以减轻推理的快捷问题，并通过增强的分类性能学习更高质量的符号表示。
self-supervised learningbayesian analysisgenerative modelsclusteringneural-symbolic framework
发现论文，激发创造
  • 自监督聚类简化半监督学习

    本文提出了一种将基于聚类的自监督方法转化为半监督学习的方法，通过引入一个多任务框架将监督学习和自监督学习结合，证明该方法在 CIFAR100 和 ImageNet 上的表现是最优的。

    Jun, 2023

  • 通过联合生成和判别训练学习符号表示

    介绍了 GEDI，一种结合了现有自监督学习目标和基于似然的生成模型的贝叶斯框架，它结合了生成性和判别性方法的优点，可以在不需要额外监督或昂贵的预训练步骤的情况下轻松集成和联合训练。 在真实世界的数据上进行的实验表明，GEDI 在聚类性能方面优于现有的自监督学习策略，并且符号组件进一步允许其利用逻辑约束形式的知识来改善小样本数据情况下的性能。

    Apr, 2023

  • 能量模型在带标签伪标签约束下的自训练无监督领域自适应

    通过在无标签目标样本的训练中引入能量函数最小化目标的约束，该论文提出改进的深度自训练框架，以提高无监督域适应的性能，并在大规模图像分类和语义分割任物上进行了广泛的实验。

    Aug, 2022

  • 自监督模型是持续学习者

    在连续学习的场景中，无监督模型的效果会大幅降低。本文提出了一种将自监督损失函数转换为知识蒸馏机制的方法，并通过加入预测器网络实现 Continual self-supervised visual representation Learning，在不需要大量超参数调整的情况下显著提高了视觉表示的学习质量。

    Dec, 2021

  • 监督结构学习

    该研究论文探讨了离散生成模型的结构学习或发现，并侧重于贝叶斯模型选择和训练数据的吸收，特别关注数据摄入的顺序。基于预期自由能，将先验放置在模型选择上是关键之一。通过在 MNIST 数据集上进行图像分类以及在具有动力学的模型发现问题上的测试，展示了该方案的基本思想。在这些示例中，通过自主学习生成模型来恢复（即解开）潜在状态的因素结构及其特征路径或动力学。

    Nov, 2023

  • 深度表示学习的无监督图像分类

    本研究提出了一种无监督图像分类框架，旨在通过不使用嵌入聚类来简化和优化深度聚类算法，并在 ImageNet 数据集上进行了实验。同时验证了其在多标签图像分类，目标检测，语义分割等任务的泛化性，以及其在迁移学习中的有效性。

    Jun, 2020

  • 辨别式自监督学习方法综述

    计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。

    May, 2024

  • 具有群集感知生成模型的半监督生成

    本文介绍了 Cluster-aware Generative Model 这一基于深度生成模型的半监督学习方法，利用未标记的数据点探索数据自然聚类模式，同时引入部分带标记的数据对模型进行优化，有效提高了模型性能。该模型也能够在完全无监督的情况下实现优异的对数似然性能。

    Apr, 2017

  • 研究自监督方法以实现标签高效学习

    视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

    Jun, 2024

  • 自监督类感知几 - shot 分类

    本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

    Feb, 2022